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(54) Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von Objekten 



(57) Die Erflndung betrifft ein Verfahren und eine 
Vorrichtung zur Durchfuhrung des Verfahrens zur Er- 
kennung und Wiedererkennung von Objekten, insbe- 
sondere von Kraftfahrzeugen, wobei die Vorrichtung 
mindestens eine Kamera und eine Bildverarbeitungs- 
einheit umfasst, wobei mittels Kamera periodisch ein fe- 
ster Bildberetch aufnehmbarlst, in dem Biidbereich min- 
destens eine Region of Interest def iniert ist, die ein VIei- 
faches kleiner als der Biidbereich ist, in der Bildverar- 
beitungseinheit modifizlerte Bilder der real aufgenom- 



menen Bilder durch arithmetische Verknupfungen und/ 
Oder Pilterfunktionen erzeugbar sind, aus den modifi- 
zierten Bildern Pahrzeughypothesenberelchebestimm- 
bar sind, aus denen Fahrzeuge detektierbar sind, die 
detektierten Fahrzeuge anhand von Fahrzeugprototy- 
pen klassifizierbar sind und weitere Objekt-Attribut er- 
mittelbarsind, wobei die Daten eines kiassifizierten Ob- 
jektes und des Objekt-Attributes an eine Zentraie und/ 
Oder benachbarte Kamera ubertragbar sind, wo eine 
Wiedererkennung des Verkehrsobjekts erfotgt. 
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Beschreibung 

.[0001] Die Erfmdung betrifft ein Verfahren und eine Vorrichtung zur Erkennung und Wiedererkennung von Objekten, 
insbesondere von Kraftfahrzeugen. 
5 [0002] Derartige Verfahren sind insbesondere zur Erf assung bzw. AbschStzung des Verkehrsflusses wichtig, wobei 
die daraus gewonnenen Daten fur verschiedene Zwecke, wie beispielsweise intelligente Ampelsteuerungen Oder 
schnelle Verkehrsmeldungen, verwendbar sind. 

[0003] Zur Objekterkennung und -verfolgung sind bereits verschiedene Verfahren bekannt, die auf verschledenen 
Losungsansatzen beruhen. Die bekanntesten Verfahren beruhen dabei auf 3D>basierten Modeiien, region-basierter 
10 Objektverfolgung oder auf einer Konturemnittlung des Objektes. 

[0004] Ein Verfahren zur Objekterkennung und -verfolgung ist beispielsweise aus dem Fachartikel "D. Koller, K. 
Danlilidis, and H. H. Nagel, Model based object tracking in monocular image sequences of road traffic scences' be- 
kannt. Hierbel verfugt das System iiber eine Datenbank in der SD-Drahtgittermodelle der gangigsten Fahrzeugtypen 
in einem Spelcher abgelegt sind. Anschaulich wird das SD-Drahtgittemnodeli durch einen Satz Vektoren beschrieben, 
.,15 welche die einzelnen Abmessungen belnhalten. Bei der Objekterkennung und -verfolgung werden die erkennbaren 
LInlen eines Objektes in Vektoren umgesetzt und mit den Inhalten der Datenbank verglichen. Dabei wird angenommen, 
dass das Objekt vom Fahrzeugtyp ist, mit dessen 3D-Drahtgittemnodel( die gr6Bte Ubereinstimmung existiert. Anschlie- 
3end wird dann das Objekt unter zu Hilfenahme des 3D-Drahtgittermodells in den fortlaufenden Bildern einer Kamera 
verfolgt. Das Verfahren benotigt hohen Rechenaufwand und ist daher auf gangigen Systemen bei weltem nicht echt- 
20 zeitfeihig. Es f unktioniert, solange das Objekt im Sichtbereich einer Kamera bleibt. Soil das von einer Kamera detektlerte 
Objekt jedoch von einer zweiten Kamera wiedergefunden werden, die keinen Oberlappungsberelch zur ersten Kamera 
aufweist, sind die vorhandenen Informationen des 3D-Drahtgittermodells unzureichend, insbesondere da die Abmes- 
sung der einzelnen Kraftfahrzeugtypen teilweise nur geringfugig varlieren. 

[0005] Ahnliche Probleme stellen sich bei region- Oder konturbasierenden Verfahren ein, wo ein Bildausschnitt oder 
25 eine Kontur erfasst wird und diese in den darauffolgenden Blldem gesucht werden. All diese Verfahren funktionieren 
mehr oder weniger gut. solange diese im Bereich einer Kamera bleiben. Jedoch bietet keines dieser Verfahren eine 
Ldsung, wie ein von einer ersten Kamera gefundenes Objekt unter einem beiiebigen anderen Blickwinkel durch eine 
zweite Kamera wiederentdeckt werden kann. Dies ist jedoch notwendig, um detailliertere Aussagen Qber den Verkehr 
treffen zu konnen. 

30 [0006] Eine theoretlsche Moglichkelt besteht darin, an jeder Kreuzung einen Satz von Kameras anzuordnen, der 
von einem Kraftfahrzeug ein eindeutiges Merkmal, wie beispielsweise das Nummemschild, erfasst. Der dabei notwen- 
dige Investitlonsaufwand w&re enomri, so dass bereits aus KostengrOnden ein solches System In ndherer Zukunft nicht 
zu realisieren ist. Ein weiteres Problem stellt der Datenschutz dar. 

[0007] Aus der DE 1 98 31 41 3 A1 ist ein Biidverarbeitungsverfahren bekannt, bei dem eine oder mehrere Merkmals- 
35 bild-Muster mit einem Originaiblld korreliert werden, wobei durch Merkmatsextraktlon aus einer Origlnalblld-Szene eine 
Merkmalsbild-Szene gebildet wird, deren Merkmalswerte durch eine Transfomnation oder einen Filter ortlich aufge- 
weicht und die transfomnlerte Blld-Szene mit den Merkmalsblld-Mustern korreliert werden und/oder dass die Merk- 
malswerte der Merkmalsblld-Muster durch eine Transformation oder einen Filter aufgeweicht werden und die transfer- 
mierten Merkmalsbild-Muster mit der Merkmalsbild-Szene korreliert werden und dass mit den verarbeiteten Bilddaten 
40 Objekte detektiert werden. Ein bevorzugtes Anwendungsgebiet des Verfahrens ist der Einsatz In einem Kraftfahrzeug 
zur Erkennung von Verkehrsobjekten, wie beispielsweise Stra3enschllder. Eine Objekterkennung von sich bewegen- 
den Kraftfahrzeugen ist ebenfalls mdglich. Allerdlngs ist das Verfahren alleine nicht fOr eine Objektwiedererkennung 
auBerhalb des Sichtbereiches der Kamera geeignet. Des welteren Ist das beschriebene Verfahren au3erst aufwendig 
bezuglich der Rechenzeit, well die Anzahl der benotlgten verschledenen 3d-Prototypen von Fahrzeugen gro3 Ist, wenn 
eine Wiedererkennung eines Fahrzeugs an einer anderen Kreuzung moglich sein soli. 

[0008] Der Erfindung liegt daher das technische Problem zugrunde, ein Verfahren und eine Vorrichtung zur Objekter- 
kennung von sich bewegenden Kraftfahrzeugen zu schaffen, mittels derer eine schnelle Er1<ennung und -wiedererken- 
nung der Objekte im Sichtbereich im allgemeinen nicht uberlappender Kameras ermoglicht wird. 
[0009] Die Losung des technischen Problems ergibt sich durch die Gegenstande mit den Merkmalen der Patentan- 

50 spruche 1 und 26. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteranspruchen. 

[0010] Hierzu werden dezentral Kamerarechnersysteme fast aufgebaut, wobei diese Jewells mindestens eine Ka- 
mera und eine Biidverarbeitungs- und Auswerteelnhelt aufweisen. Die Kameras welsen im allgemeinen kelne uber- 
lappenden Bildbereiche auf. In einem Vorabschritt werden Regions of Interest (ROIs) definiert, in denen Objekte ver- 
mutet werden. Die GroBe der Regions of Interest im VerhSltnis zum Bildberelch ist dabei abhangig von dem Ort der 

55 Anbringung der Kamera. Bei Uberwachung einer gesamten Kreuzung durch eine Kamera sind die ROIs dabei typi- 
scherweise ein Vielfaches kleiner als der Bildberelch der Kamera, wohingegen bei einer Anbringung an Brucken und 
Ubenvachung des darunter liegenden Bereichs die Regions of Interest einen erheblichen Anteil des Blldbereiches 
ausmachen konnen. Ist an einem Ort der Einsatz mehrerer Kameras notwendig oder zweckmSBig, so konnen deren 
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Bildbereiche ubertappen, wohingegen die zugehorigen Regions of Interest sich vorzugsweise nicht uberlappen. Eine 
Uberlappung von Regions of Interest mehrerer Kameras ist jedoch denkbar, um beispielsweise nicht gut erkennbare 
Verkehrsobjekte durch Daten mehrerer Kameras mit hoherer Sicherheit zu erkennen. Hierbei ist jedoch die Zwangs- 
bedingung der begrenzten Rechenzeit und/oder des Rechenspeichers zu berucksichtigen, sowie ein gegebenenfalls 
5 hoherer Aufwand der entsprechend genauen Synchronisation der verschiedenen beteiligten Rechner. 

[001 1] Die Kamera nimmt periodisch in einem Zeittakt reale Biider auf , die vorzugsweise f arbig sind und v^eniger als 
etwa ein Pixel im Blldberefch zueinander verschoben sind. Diese reaien Biider werden durch arithmetische und Filter- 
funktlonen modifiziert. innerhalb der Regions of Interest werden Fahrzeughypothesen emiittelt und gegebenenfalls 
Fahrzeuge detektiert. Die detektierten Fahrzeuge werden klassifiziert. Um ein detektiertes und klasslfiziertes Objekt 

10 wiederzuerkennen, reicht im Regelfall die Kiassifikation nicht aus. Daher wird zusdtzlich noch mindestens ein Attribut 
des Objektes ermittelt und zusammen mit der Klassifizierung an eine Zentrale und/oder mindestens eine benachbarte 
Kamera ubemnittelt, wobei der Vorgang der Objektwiedererkennung entweder in der Zentrale oder on-board bei der 
benachbarten Kamera erfolgt. Derartlge Objekt-Attribute sind beispielsweise Farbdaten. Die Wiedererkennung erfolgt 
durch Vergleich der Daten eines detektierten und ktassif izieiten Fahrzeuges der einen Kamera mit den Werten einer 

15 anderen Kamera, wo mittels des gleichen Verfahrens ein Fahrzeug detektiert wurde. Durch dieses Verfahren wird eine 
schnelie Erkennung bzw. -Wiedererkennung von Objekten mit handelsublichen Kameras und Bildverarbeitungs- und 
Auswerteeinheiten emridgiicht, die eine kostengunstige und schnelie tmplementierung erlauben. Neben Fahrzeugen 
kann das Verfahren auch beispielsweise zur Erkennung und Wiedererkennung von Motorradern, Fahrradern Oder 
Fuf3gangern Anwendung finden. Die Wiedererkennung Ist dabei auch bei einer Drehung des Objekts mdglich. 

20 [0012] In einer Auspragungsfomn besteht die Modifikatlon der reaien Biider in einer Dtfferenzbildung, so dass Be- 
wegungsbilder erzeugt werden. Aus zwei zeitlteh zueinander versetzten Bildem wird ein Bewegungsbiid generiert. so 
dass statische Objekte unterdruckt werden, wobei aktive bzw. sich bewegende Objekte in der Region of Interest er- 
mittelt werden. Wird in der Region of Interest ein aktiver Bereich ermittelt, so wird im Bewegungsbiid dessen Gr6f3e 
abgeschatzt und mit einem Schwellenwert vergiichen. Zur Ermittlung einer Objekthypothese aus den Differenzbildem 

25 stehen verschiedene Ansatze zur Verfugung. die im einzelnen noch eriautert werden. Solite die Objekthypothese zu 
klein oder zu groB sein, so sind Spezialfalle zu untersuchen, die spater noch ausfuhrlich beschrieben werden. Erscheint 
die GroBe hingegen ausreichend, so wird die Geschwindigkeit des Objektes baslerend auf robusten Differenzverfahren 
emnittelt. Unter Berucksichtigung der Objektgeschwindigkeit wird dann aus einem der Bewegungsbiider eine modifi- 
zierte ObjektgrofBe emnittelt und das Objekt klassifiziert. Die emriittette Objektgeschwindigkeit kann auch wieder zum 

30 Verwerf en der Hypothese fuhren, beispielsweise wenn die Quergeschwindigkeiten zu groB sind, so dass es sich nicht 
um ein Fahrzeug handein kann. Die Verfahrensschrltte "Emnittlung aktiver Bereich", "GroBenbestlmmung" und "Ge- 
schwindlgkeitsbestimmung" stellen dabei das Aufstelien einer Fahrzeug und/oder Fahrzeugcluster-Hypothese dar, die 
durch verschiedene, spater noch zu eriautemde, Ansatze verfeinert werden kann. Die anschliefSende Kiassifikation 
kann unterschiedlich tief erfolgen. Beispielsweise kann sich die Kiassifikation auf eine Unterteiiung "Kleinwagen", "Mit- 

35 telkiassewagen", "Oberldasse", "Van", "Transporter", "LKW" sowie "PKW mit Anhanger" bzw. "LKW mit Anhanger" 
beschranken. Ebenso ist es jedoch moglich, dass von verschiedenen IHerstellem Fahrzeugtypen-I\^erkmale abgespel- 
chert werden. 

[0013] in einer bevorzugten Ausfuhrungsfonn werden zwei Bewegungsbiider erzeugt, wobei das erste eine feine 
Ortsskala und das andere eine grobere Ortsskala aufweist. Dabei wird das Bewegungsbiid mit der groberen Ortsskala 
40 vorzugsweise aus dem Bewegungsbiid mit der felnen Ortsskala erzeugt. Aus dem grdberen Bewegungsbiid wird eine 
erste Abschatzung einer Fahrzeug- und/oder Fahrzeugcluster-Hypothese emnittelt. 

[0014] Dies geschieht Indem beispielsweise durch Clustem eine GroBe des Objektes abgeschatzt wird. Mit Hllfe des 
feineren Bewegungsbiides wird eine Fahrzeugumrandungs-Hypothese ermittelt. 

[0015] In einer alternativen Ausfuhrungsform wird zur Bestimmung von Fahrzeughypothesenbereichen eine auf 
45 Fahrzeuge abgestimmte Scaie-Space-Synchronlsation verwendet. Hierzu wird ein Bewegungsbiid erzeugt und aktive 
Bewegungskanten werden ermittelt, wobei ein Polygon unter Einschluss der Bewegungskanten die unterste Ebene 
der sog. rezeptiven Felder des Scale-Space bildet. Im einf achsten Fall ist das Polygon ein Rechteck. In dieser untersten 
Ebene des Scale-Space werden die lokalen Maxima bestimmt. Die nachsthohere Ebene des Scale-Space stellt dann 
bereits die PKW-Ebene dar, wobei die rezeptiven Felder Fahrzeugvorder- und Fahrzeughinterkantenhypothesen zu- 
50 sammenfassen. Zus§tzlich oder anstelle der Scale-Space-Synchronisation ist auch eine Kantendetektlon, ein Farb- 
bzw. Heliigkeits-Olusten^erfahren (Color Structure Code (CSC)) und/oder eine Eckendetektion denkbar, 
wobei Abmessungen von Fahrzeugtellen aus den einzelnen detektierten Ecken extrahiert werden kdnnen und eine 
Hierarchie nacheinander zu suchender Ecken festgelegt wird. 

[0016] In einer bevorzugten Ausfuhrungsform wird die GroBe der Region of Interest in AbhSngigkeit eines Zeittaktes 
55 T, einer maximal angenommenen Objektgeschwindigkeit Vq. die sich beispielsweise aus der vorgeschriebenen Ge- 
schwindigkeit berechnen lasst, und einer minimalen Objektlange derart gewahit, dass vereinfacht ausgedruckt ein 
Objekt nicht innerhalb eines Zeitaktes die Region of Interest durchqueren kann. Hierdurch wird errercht. dass die Region 
of Interest so klein wie moglich gehalten werden kann, was hinslchtlich einer Auswertung in Echtzeit erheblich Re- 



3 



EP 1 320 063 A2 



chenzeit und -kapazitdt einsparen hilfL 

[0017] In einer weiteren bevorzugten Ausfuhrungsform ist eine Region of interest als geschlossener Polygonzug mit 
mindestens vier Punkten ausgebildet. 

[0018] Urn Rechenzelt zu sparen, werden vorzugswelse ortsfeste verdeckende Objekte durch den Polygonzug aus- 

5 gespart bzw. unrifahren. Beispiele fur derartige verdeckende Objekte sind Verkehrsschilder oder Baume. wobei bei 
letzteren vorzugswelse ein Sicherheitsabstand berucksichtigt wird, da slch die Aste bei Wind bewegen. 
[001 9] In einer weiteren bevorzugten AusfOhrungstorm werden die ROIs in den Ausfahrtsbereichen eIner Kreuzung 
angeordnet, so dass damit insbesondere die Infonnation gewonnen wird, bei welcher nachsten Kreuzung das Fahrzeug 
anschlleBend zu erwarten Ist. Alternativ sInd andere Verfahren fur eine Vorausschau von Objektdaten fur eine Wie- 

10 dererkennung von Objekten an einem von einer weiteren Kamera uberwachten Geblet denkbar. 

[0020] Optional konnen die Regions of Interest auch im Einfahrtsberelch der Kreuzung angeordnet werden, wobei 
dadurch die erfassten Kraftfahrzeuge im Kreuzungsbereich weiterverfolgt werden konnen, so dass die Infomriatlon 
erhalten wird, uber welche Stra3e das Kraftfahrzeug die Kreuzung wieder verlasst. AuBerdem ist es denkbar, Regions 
of Interest vor und hinter einer Kreuzung zu verwenden, und damit eine Wiedererkennung von Fahrzeugen vor und 

15 hinter der Kreuzung durchzufuhren. 

[0021 ] In einer weiteren bevorzugten Ausfuhmngsf orm wird mindestens ein Parbdatenwert des Objektes als Objekt- 
Attrlbut erfasst. Dabel werden vorzugswelse die Randbereiche von FISchen des Fahrzeuges unberQcksk:htigt gelas- 
sen, da dort aufgrund von Reflexionen haufig nicht dem Objekt entsprechende Farbwerte vorhanden sind. Vorzugs- 
welse werden insbesondere bei PKW die Fahrdatenwerte im Wesentllchen aus normierten Farbdatenwerten der un- 

20 teren Sertenf lachen des Fahrzeuges ermlttelt, well im oberen Bereich die Schelben den Farbwert verffilschen wQrden. 
[0022] In einer weiteren bevorzugten Ausfuhrungsform wird die Heckform, die Dachausbildung (Dachiuke), vorhan- 
denes Dachgepack und/oder eine Objektfolge als Objekt-Attribut erfasst, wobei unter Objektfolge beispielsweise die 
Reihenfolge ein oder mehrerer vorangegangener bzw. nachfolgender Verkehrsobjekte als Attribut erfasst werden. 
[0023] In einer weiteren bevorzugten Ausfuhrungsform wird eine Schatten- und/oder Beleuchtungsanalyse durch- 

25 gefuhrt. 

[0024] In einer weiteren bevorzugten Ausfuhrungsform nimmt die Auswerteelnheit eine Bestlmmung der WItterungs- 
verhaltnlsse vor, wobei die verwendeten Parameter bzw. Algorithmen an die WItterungsbedingungen angepasst wer- 
den. 

[0025] In einer weiteren bevorzugten Ausfuhrungsform wird die GroBe der Regions of Interest In AbhSngigkeit von 
30 der Helligkelt, beispielsweise bei Tag oder Nacht, gewahlt. 

[0026] In einer weiteren Ausfuhrungsfomn wird auch eine Anbrlngung von Kameras an sich bei Sturm bewegenden 
Objekten wie Masten zugelassen. In dem Fade wird ein Wacketn der Kamera detektiert und das Wackeln fOr jedes 

Blld anhand eines gespeicherten Referenzbildes naherungsweise herausgerechnet. 

[0027] Im Falle groBen Wackelns kann alternativ ohne Herausrechnen des Wackelns eine alternative Fahrzeug- 
es Erkennung vorzugswelse unter Verwendung eInes Prototyp-Eckendeteklionsverfahrens oder Farb- bzw. Hellig- 
keits-Clusterverfahren (Color Structure Code (CSC) ) in den ROIs durchgefuhrt werden. 

[0028] Kameras sind bevorzugt in Hdhen von ca. 7m bis 50 m an Hausern angebracht. Bel wesentlich groBeren 
Hohen Ist ein Wackeln der Kamera Insbesondere bei Stumi zu berucksichtlgen. Dies gilt verstarkt fur Masten. In diesem 
Fail wird ein Wackeln der Kamera detektiert und das Wackeln fiir jedes Bild anhand eines gespeicherten Referenzbildes 
40 naherungsweise herausgerechnet. 

[0029] An vielen Kreuzungen und/oder StraBen sind hohe Masten vortianden. Diese sind dann bevorzugt zum An- 
bringen der Kamera(s) zu verwenden, wenn ein Blickwinkel a der Kameras dadurch nSher an der Vertlkalen llegen 
kann als bei einer vergleichswelsen Anbringung an HSusern. Der Blickwinkel a ist im Folgenden der Winkel zwischen 
Kamerabildmittelstrahl und der Senkrechten, d.h. ein geringer Blickwinkel liegt um a < 30° und ein flacher Blickwinkel 
<5 bedeutet a nahe 90°. Ein geringer Blickwinkel ist fur die Ermittlung von Fahrzeug-Hypothesen von sehr hohem Wert, 
denn Verdeckungen von Verkehrsobjekten im Bildbereich sind dann auBerst selten. Zu Verdeckungen kommt es bei- 
spielsweise durch einen FuBgangerpulk auf dem Burgersteig, welcher eine QuerstraBe verdeckt, und/oder durch hohe 
Fahrzeuge einer Fahrspur, welche Fahrzeuge derbenachbarten Fahrspuren verdecken. Bei f lachen Blickwinkein mus- 
sen derartige Verdeckungen hingegen in der Regel herausgerechnet werden. Geringe Blickwinkel sind daher zu be- 
so vorzugen. Masten sind auBerdem fur eine Anbringung zu bevorzugen, wenn an StraBen BSume die Slcht auf die StraBe 
so einschrinken, dass eine Verkehrsdatenextraktion durch Kameras, die an HSusern Installiert sind, kaum moglich 
ist. Dies gilt insbesondere im Sommer, wenn die BSume stark belaubt sind. 

[0030] Vielfach ist es jedoch auch sinnvoll, eine Kamera an eInem GebSude einer StraBe mit Bllckrichtung auf diese 
anzubringen. Die Kamera ist dabel an dem Gebaude vorzugswelse derart angebracht, dass der Verlauf der StraBe im 
S5 Blld von unten nach oben auf eine Kreuzung zufuhrt. Dann kann diese StraBe von der Kamera uberwacht werden, 
ohne dass FuBgangerpulks auf den Burgersteigen die StraBe nennenswert verdecken konnten. 
[0031 ] Durch Kameras mit flachem BItokwinkel ist auch die Verlangerung der StraBe uber die Kreuzung uberwachbar. 
wobei insbesondere der Bereich, in dem FuBganger die StraBe uberqueren, von Interesse Ist. QuerstraBen sind bei 
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2u fiachen Blickwinkein der Kamera wg. des beschriebenen FuBgangerpuIkproblems und dem Problem, dass groBe 
LKW dahinterliegende Fahrspuren verdecken, von der Kamera entweder nicht zu iiberwachen, bzw. nur mit entspre- 
chend eingeschrankter LeistungsfShigkelt. 

[0032] Urn hohe Anforderungen einer mit den Daten durchfuhrbaren Ampelsteuerung und die Echtzeitbedingungen 
zu erfullen. ist es sinnvoll, verschiedene Levels of Servtee bereitzustellen. HierfQr werden Regions of Interests mit 
unterschledllcher GroBe und/oder unterschledlicher Auflosung definlert. Die verschiedenen Levels benotigen verschie- 
dene Rechenzelt. Niedrlge Levels mit nurgroben Aussagen uberdle Verkehrsdichte konnen zuerst bereitgestellt wer- 
den, so dass auch Systeme mit besonders wenig Rechenleistung kontinuierliclies Erzeugen und Bereitstellen von 
Verkehrsdaten garantieren konnen. 

[0033] Ein entscheidender Faktorfur eine Verkehrssteuerung ist der Verlcehr, der von einer Kreuzung auf eine andere 
zufahrt. Aus diesem lasst sich eine dynamlsche Ampelsteuerung fur die angefahrene Kreuzung generleren, welche 
gangige Ampelsteuerungssysteme und -verfahren ubertrifft. Denn eine Ampel kann aufgrund des auf sie zukommen- 
denVerkehrssehr gut gesteuert werden, dagegenz.B. aufgrund von Schleifendaten direktvor einer Kreuzung schlecht: 
Ein Fahrzeug, das kurz vor einer Kreuzung detektiert wird, hat bei roter Ampel bereits abgebremst. Wenn die Ampel 
fur das Fahrzeug dann auf Grun geschaltet wird, ist die Reisezelterspamis nicht so groB als wenn die Ampel frOher 
auf Grun geschaltet worden ware und das Fahrzeug nicht hatte bremsen mussen. Auch Schleifen, die welter von einer 
Kreuzung entfernt sind, konnen oft nicht so wertvolle Daten liefem wie die Daten uber den von einer Kreuzung weg- 
auf die andere zufuhrende es sind, denn eine Ampelsteuerung hat langere Grun/Rot-Phasen, die mit besserer Wirkung 
auf die Vemngemng der Reisezelten erstellt werden, wenn sie mehr zeitiichen Voriauf vor der wirklichen Steuerung 
haben, well die Planung der Steuerung dann besser sein kann. Dementsprechend wird unten der Detektion der Fahr* 
zeuge hinter der Kreuzung als wichtigen (mittleren) Level of Service besondere Beachtung geschenkt. 
[0034] Im Fall einer Ampelsteuerung aufgrund der Daten von benachbarten Kreuzungen ist der Rechenzeitbedarf 
der Bildverarbeitung demnach bedeutend geringer. 

[0035] Die Erfindung wird nachfolgend anhand eines bevorzugten Ausfuhrungsbeispiels naher eriautert. Die Fig. 
zeigen: 

Fig. 1 : ein schematisches Flussdiagramm des Verfahrens und 

Rg. 2: eine schematlsche Darstellung einer Kreuzung mit Regions of Interest. 

[0036] In der Fig. 1 ist ein schematisches Flussdiagramm des Verfahrens zur Objekterkennung von sich bewegenden 
Verkehrsobjekten dargestellt. In einem ersten Schrltt werden Bildervon einem Bereich, In dem sich bewegende Ver- 
kehrsobjekte gefunden werden sollen, z.B. eine Fahrspur oder ein FuBgangenweg, aufgenommen. In einem nachsten 
Schritt wird aus mindestens zwei aufeinanderfolgenden Bildern eine Bewegungsbild ermittelt, wobei hierzu zunachst 
nur ein vorab definierter Bereich, die sogenannte Region of Interest, untersucht wird. Hierzu wird die Region of Interest 
in ein Gitter unterteilt und nach aktlven Bereichen im Bewegungsbild untersucht. In diesem Bewegungsbild kann bereits 
eine Schatten- und/oder Beleuchtungsanalyse durchgefuhrt werden. Dies ist jedoch nteht zwingend, sondern kann 
auch an anderer Stelle noch nachgeholt werden, was spater noch eriautert wird. AnschlieBend erf olgt eine Bestlmmung 
von Fahrzeughypothesen und die Fahrzeugdetektlon. Die Art und Reihenfoige einzelner Verfahrensschritte ist dabei 
abhangig von der Wahl des Hypothesenansatzes. Im nSchsten Schritt wird das Fahrzeug klasslfiziert und es werden 
Fahrzeugattribute ermittelt und gespek:hert. Das klassifizierte Fahrzeug kann nun gegebenenfalls verfolgt werden und/ 
Oder durch eine andere Kamera wiedererkannt werden. 

[0037] In der Fig. 2 Istschematisch eine Kreuzung dargesteltt. die Im Bildbereich 1 einer Kamera liegt. Die dargestellte 
Kreuzung umfasst vier ein- bzw. ausmundende StraBen, wobei Jewells vorzugsweise beginnend In einem Bereich ca. 
1 m hinter der Kreuzung und etwaigen FuBgSngeruberwegen in den ausmundenden StraBen Jewells eine Region of 
Interest 2 definlert wird. Im Falle, dass Fahrzeuge uber die Kreuzung verfolgt werden sollen, werden vor der Kreuzung 
ebenfalis Regions of Interest 2 definlert. Die gestrtehelten LInien in den StraBen stellen Fahrspurbegrenzungen 3 dar. 
Bevor die einzelnen Verfahrensschritte naher erl§utert werden, werden zunachst einige Schritte im Vorfeld dargestellt: 

Auf stellen der Kamera 

[0038] Vorzugsweise wird eine Kamera in einer Hohe von 8 bis 50 m angebracht und bevorzugt mit Biickrichtung 
nach unten, d.h. moglichst nahe der Senkrechten, um das Problem der partiellen Verdeckung der Fahrzeuge unter- 
einander zu minimieren. 

[0039] Eine Orientierung wird vorzugsweise nach Norden gew&hit, um zu venmeiden, dass die Sonne im Bild er- 
scheint. Die Orientiemng ist Jedoch weniger wichtig als eine Anbringung an einem hohen Punkt. Am besten ist eine 
Kamera an einem Gebaude/Mast starr angebracht, so dass diese Schwankungen nur in dem MaBe ausgesetzt ist, 
der einer Verschiebung des Bildes um weniger als eine Pixelbreite entspricht. Bei reaten Aufnahmen von an Hausem 
befestigten Kameras zeigt sich, dass dies im allgemeinen selbst be! schiechtem Wetter erfullt wird. 
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[0040] Falls ein Erschelnen der Sonne in einem Bild durch eine geeignete Kamerapositioniemng nicht vermeidbar 
ist, so kann im vorhinein berechnet werden, wann sie im Bild bzw. nahe des Bildes stehen wird. In diesen Zeiten kann 
belspielsweise einem Nutzer und/oder einer abhangigen Anwendung automatisch nnitgeteitt werden, dass keine Daten 
geliefert werden Oder nur mit eingeschrankter Gewahrleistung. 
5 [0041] Die Anzahl der benotlgten Kameras ist minimiert, wenn sie Kreuzungen Qberwachen und dabei am besten 
mIt einer Kamera die gesamte Kreuzung uberwacht werden kann. Denn die Anzahl der Stra(3enabschnltte zwischen 
Kreuzungen istca. doppelt so groB wie die Anzahl der Kreuzungen. Die Systemkosten hangen stark von der Anzahl 
der zur Oberwachung eines Gebietes notwendlgen Kameras ab. 

10 Definition der Region of Interest (ROI) 

[0042] Regions of Interest (ROIs) werden vorzugsweise in mehreren GroBen definiert. Die groBeren ROIs werden 
deflniert als ein fur alle uberwachten Verkehrswege moglichst langer Bereich der Fahrspuren begin nend be! der Kreu- 
zung im Biidbereich. Einzelne Fahrspuren werden in der Grafik gekennzeichnet und mit den entsprechenden StraBen- 
'5 namen und Fahrtrichtungsangaben belegt. Optional kann dtese Prozedur auch von GlS-Werkzeugen erfQIlt werden. 
Auch kann eine Positionsangabe iiber ein Positionsbestlmmungssystem (z.B. GPS) und Daten von Systemen zur 
Bestimmung der Blickrlchtung einer Kamera einbezogen werden. 

[0043] Vorzugsweise werden die ROIs als geschlossene Polygene moglichst wenlger, mindestens 4 Punkte einge- 
zeichnet. Wenn Verdeckungsbereiche sich innerhalb der ROIs befinden, so sollten diese ebenfalls mit einem Potygon- 
20 zug umfahren werden und als solche, nicht zum Bereich der ROIs gehorenden Teile kenntlich gemacht werden. Der- 
artige Gebiete werden im folgenden als Fehlberelche bezeichnet. Bei Baumen ist ein Sicherheitsabstand von ca. 1 m 
einzubeziehen, well Aste bei Wind schwingen. Referenzpunkte fur die GroBenerkennung der Fahrzeuge sind zusatzlich 
einmalig einzuzeichnen. 

[0044] Zur Rechenzeitverringerung lasst sich der zu analysierende Bereich innerhalb eines ROI verkleinem. Eine 
2s Fomrtel, die den Zeittakt und die Langsbreite der zu analysierenden ROI oder ROI-Teile in Bezlehung setzt, wird im 
Folgenden hergeleitet. Hieraus lasst sich umgekehrt auch eine Fomnel fur den notlgen Zeittakt bei unterschiedlich 
groBen ROI herleiten. Speziell nachts ist fur hohe Erkennungsraten ein groBerer Bereich notig, wenn man keinen 
Infrarotkanal zur Verfugung hat, well das Bewegungsbild dann von Fahrzeugen tellweise nur die Scheinwerfer (oder 
Ruckiichter) erkennen lasst. Dies wird spater erlautert. Bevor die Formel hergeleitet werden kann, sind einige Definl- 
30 tlonen vorzunehmen. 

[0045] Die klelnen ROIs werden in zwei Raster mit definlerten AbsolutgroBen eingeteilt. Das feine Raster hat eine 
Gitterkonstante von etwa 0,1 m. Im Fade von Kameras mit hoher Auflosung lassen sich je vier, bzw. mehr benachbarte 
Pixel zusammenfassen. Es sollten jeweils so viele benachbarte Pixel zusammengefasst werden, dass die resultierende 
Auflosung bei nicht genauer als etwa 0,1 m liegt. 
35 [0046] Die grobere AbsoiutgroBenbereichseinteitung in den ROIs ist dadurch gekennzeichnet, dass die Langsbreite 
eines Bereiches (die Indizes x und y stehen fur die Unterteilung innerhalb eines ROI, der Index n Indiziert die 
verschiedenen ROI in einem Bild, die Indizes werden jedoch fur eine bessere Ubersichtlichkeit im Folgenden nIcht 
dargestellt) entlang der Fahrbahn 

40 

e = 0,3 m 

betragt. Das feine Raster entfallt, wenn die Pixelauflosung langs der Fahrspur zu grob ist. 

[0047] Die Bereiche m konnen auch detaiilierter festgelegt werden. In der Mitte der Fahrspuren konnen die Bereiche 
<s eine groBere Querbrerte aufwelsen, well dort bei geelgnetem Blickwinkel der Kamera, der vorzugsweise mdglichst 
nahe an der Vertlkalen liegt, keine Uberlappungen von Fahrzeugabbildern auftreten konnen, sofern sie - wie in den 
betrachteten ROIs fast immer der Fail • innerhalb der Fahrspuren fahren. Die Querbreite kann - in Abhangigkeit vom 
Kamerabiickwinkel - dort auf bis zu 1 m erhoht werden. 

50 Zu anatysierender Tell eines ROI 

[0048] An einer Stelle einer Fahrspur konnen nicht mehr als etwa 2 Fahrzeuge pro Sekunde vorbeifahren. daraus 
ergibt steh, dass man, wenn man z.B. alle 

55 

T=0,5s 

eine Kompiett-Anatyse durchfuhrt, diese Analyse auf einen Bereich langs zur Fahrbahn von der Lange von 4,7 m 
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beschranken kann, und dadurch eine Rechenzeiteinsparung moglich 1st. 

[0049] Die Berechnung mit den genannten Annahmen lautet somit: Es fahren an einer Stelle einer Fahrbahn nicht 
mehr ats etwa zwei Fahrzeuge pro Sekunde vorbei, denn wenn Fahrzeuge In einer Stadt sehr schnell fahren, z.B. 80 
km/h, legen sie in einer halben Sekunde 11 m zurOck, allerdings konnen die Fahrzeuge dann Im Allgemeinen nicht 
5 alle 11 m, d.h. in einem Abstand von maximal ca. 6 m, aufeinander folgen, well dies zu gefdhrlich wSre. Wenn sie 
langsamer fahren. z.B. nur 20 km/h, legen sie nur 5,5 m pro Sekunde zurQck, so dass ebenfalls nicht mehr als etwa 
2 Fahrzeuge pro Sekunde die Stelle passieren konnen. 
[0050] Eine obere Grenzgeschwlndigkeit in der Stadt von 

Vq = 80 km/h 



wird fur Bereiche. in denen man nur 50 km/h fahren darf, angesetzt. Hieraus ergibt sich 

ss Vq T - 3,7 m 



20 



wobei 

T = 1/6 s 



der Zeittakt 1st, mit dem Bilder gespeichert werden sollen. Der Grund fur diesen Wert des Zeittaktes ist, dass dann 
Fahrzeuge Innerhalb des Zeittaktes sich nicht mehr als a^ = 3,7m vorwartsbewegen, so dass sie sich i. allg. nicht waiter 
25 vorwdrtsbewegen als Ihrer LSnge entspricht, d.h. die Fahrzeugbilder zu t und zu t*T Qberlappen im Allgemeinen. Gro- 
Bere Werte fur die Zeltrate t und/oder den Zeittakt T ohne Verl&ngerung des zu analyslerenden Bereichs sind denkbar, 
wirken sich jedoch negativ auf die Erfolgsrate aus. 

[0051] Bel einem vertikalen Blickwinkel ist der Zeltabstand, den Fahrzeuge einhalten mussen, urn Kolllsionen zu 
vemieiden, gr6Ber als t = 1/6 s, daher sind bel vertikalem Blickwinkel mit diesem Zahlenwert generierte Bewegungs- 
30 bilder nicht ubertappend. 

[0052] Als minimale Fahrzeuglange wird vorzugsweise eine LSnge von 



33 



a = 3m 

angenommen. Die Ldngsbrelte eines Bereiches m (GItterraster In den ROls s.o.) ist wie oben beschrieben etwa e =0,3 
m. Eine Analyse ist dann uber einen LSngsberelch der Fahrbahn eines ROI der L3nge 



^ 32 = ^1 (T/x-l) - a + € = 4,7 m 

durchzufuhren, damit dem Algorithmus kein ausreichend kontrastreiches Fahrzeug entgeht. Im ersten Summanden 
kann dabei die 1 von T/x abgezogen werden, well zur Objektdetektion ein Zeitdlfferenzbild verwendet wird, be! dem 
das aktuelle und das x-verzogerte Bild eingesetzt werden. Dies wird welter unten bel der Beschreibung der Objektde- 

45 tektion ausfuhrlich erlautert. 

[0053] Bei Methoden ohne Verwendung von Zeitdifferenzbildern wird die 1 nicht abgezogen. 
[0054] Aufgrund der Ausdehnung von Fahrzeugen in die Vertikale kann bel einem flachem Kamerablbkwinkel in 
Abhangigkeit des Kamerabllckwinkels und des WInkels der Stra3e gegen die Bildvertlkale ein entsprechend kleinerer 
Bereich als 4,7m verwendet werden. Die notige LSnge lasst sich mit einer Annahme der Hdhe der Verkehrsobjekte 

so berechnen. Vor2ugsweise wird dabei angesetzt, dass Verkehrsobjekte immer hoher als 0,5m sind. 
[0055] Bei einem Verkehrsschlld zur Begrenzung der Geschwindigkeit auf v^ ware z.B. Vq zu 
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Vq = v^ + 30 km/h 

zu wahlen, well ubiich elnige Fahrzeuge schneller fahren ats eriaubt. Durch EInsetzen von v^ iSsst sich somit Vq und 
82 berechnen, zudem kann der Wert von a z.B. zur Erfassung von Motorrfidem und Fahrradern auf a = 2 m herunter- 
gesetzt werden. 
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[0056] Ein gunstiger Bereich fur den a2-Bereich innerhalb eines ROI ist ein Bereich, der von Verdeckungen moglichst 
wert entfemt Ist und ca. 1 m Mindestabstand von der Kreuzung aufweist, weil sich dort die Fahrzeuge \m Allgemeinen 
elnlgemnaOen parallel zur Fahnspur bewegen. DIeser Bereich kann Interaktiv einnnalig vorab eingezeichnet werden: 
Man gibt erst die Geschwindlgkeitsbegrenzung an der Kreuzung ein und ob Motorrdder/FahrrSder erkannt werden 

5 sollen, daraus berechnet das Kamerarechnersystem ag. Vorzugsweise wird zunSchst ein Bereichsbeginn durch das 
Rechnersystem angenommen. Denkbar Ist ein Bereichsbeginn von belspielswelse 1 m Abstand h Inter einer Kreuzung. 
Das Rechnersystem berechnet daraus den Bereich nnit Hilfe von ag und den vorher eingegebenen ROIs. 
[0057] Gespelchert wird Im Rechner jeweils zusatzlich das Blld, das ein x zuruckliegt und das, welches zwel t zu- 
ruckliegt. Unn die Belastung des Hauptprozessors bel der Speicherung und Vorverarbeitung der Bilder so gering wie 

10 nnoglich zu haiten, sollte ein oder mehrere FPGAs verwendet werden. 

[0058] ROIs lassen sich in Abhanglgkeit Ihrer Grof^e hterarchlsch ordnen. Jede Stufe der Hierarchie erfullt jeweiis 
eine bestinnnnte Aufgabe und umfasst das jewelllge ROI der nachstniedrigeren Stufe. 

[0059] Die oben beschriebenen ROIs nnit Lange z.B. 4.7m bilden die unterste Stufe der Hierarchie, d.h. es slnd die 
kieinsten ROIs Sie werden nicht direkt an einer Kreuzung und/oder nicht direkt an Fu3gangeruberwegen in das Bild 
IS gelegt. Die Bestimmung ihrer Lings-Abmessungen erfolgt durch das beschriebene Vorgehen. Die Querabmessungen 
der kieinsten ROIs werden gewahit, so dass in deren Bildbereichen ubiiche Verkehrsobjekte anderer Fahrspuren etc. 
nicht hineinragen, in der nachstgrolBeren Stufe sind die Bereiche auch aulBerhalb der Jeweiligen Fahrspur enthalten, 
in die ein am entsprechenden Rand der Fahrspur befindiiches z.B. 3m hohes Objekt ragt. 

[0060] Eine der Fahrspuren befindet sich am nSchsten zur Kamera, niher zur Kamera kann zusatzlich ein FuBg§n- 
20 ger- bzw. Radweg liegen. In letzterem Fall beginnt ein Rand der kieinsten ROI dieser Fahrspur erst an der Stella der 
Fahrspur, welche einer Projektion einer 1 ,8m hohen Unie am Rand zwischen der Fahrspur und dem Fu3ganger bzw. 
Radfahrweg entspricht. Dies bewirkt, dass sich in den kieinsten ROIs fast nie Telle von FuBganger- und/oder Radfah- 
rerabblldern befinden, da anzunehmen ist, dass FuBganger und/oder Radfahrer sich nur auf dem FulBweg und/oder 
Radweg und nicht auf der Fahrbahn befinden und dass FuBganger und/oder Radfahrer. die sich genau im Randbereich 
2s zwischen FuBweg und/oder Radweg und Fahrbahn aufhaiten, im Allgemeinem nicht hdher als 1 ,8m sind. 

[0061] Weiter entfemt von der Kamera als die genannte erste Fahrspur kann/konnen eine oder mehrere weitere 
Fahrspur(en) verlaufen. In dem Falle ist auf der zweiten Fahrspur anzusetzen, dass das kleinste ROI beginnt, wo eine 
Projektion einer (z.B.) 3m hohen Linie genau zwischen den Fahrspuren Im Bild erscheint u.s.w. 
[0062] Die Langsabmessungen der groBeren ROIs konnen vom Bildrand bis gegebenenfalls zur Kreuzung (bel Stra- 
30 Ben ohne Kreuzung bis zum anderen Bildrand) geweihit werden. 

[0063] Eine dritte Stufe groBerer ROIs kann bei Kreuzungen von einer Fahrspur von einem Bildrand bis zu den 
verschledenen moglichen Fahrspuren hinter der Kreuzung bis zum Bildrand reichen. Dies ist beim Verfolgen von Fahr- 
zeugen ubereine Kreuzung von Interesse. Diese dritte Stufe kann optional als eine einzige ROI, welche alie Fahrspuren 
enthait, definiert werden. 

35 [0064] Fur jede Stufe der Hierarchie sind diejenigen Bereiche, welche die ROIs teilweise verdecken konnen (Schilder 
etc.), auszusparen. 

Bewegungsbilder 

40 [0065] AnschlieBend werden Bewegungsbilder berechnet: Eines auf der oben definierten kleineren Skaia und eines 
auf der grdberen Skaia. 

Kleine Skaia (0,1 m) 

^ [0066] Die durch die oben definierte kleine AbsolutengrdBenskala von 0,1 m gegebene Einteilung bezeichnen wir 
im folgenden der Einfachheit halber auch als Pixel p. Fur jedes Pixel p berechne man 

% = H(|rp-rp(t-x)| + |gp-gp(t-x)| + |bp-bp(t-T)|-e). 

50 

[0067] Fur H(x) wird definiert H(x) = 0 fOr x<0 und sonst H(x) = 1 . Dabei wird in den ROIs vorzugsweise eine Urn* 
rechnung der RGB-Bilddaten zu rg-Daten vorgenommen, wobei r=R/(R+B+G), g=G/(R+B+G) und b=1 -r-g gilt. Dadurch 
werden etwalge Schatten, wie an Real-Word-Daten festgestellt wurde effizlent aus dem Bild entfernt. Andere Farbko- 
dierungen sind ebenfalis denkbar. Man kann die Funktion empirisch fur das vortiandene Kamerasystem optimieren. 
55 Wenn der Gesamtheiiigkeltswert insbesondere nachts einen Schwellenwert unterschreitet, wird vom rg-Biid auf das 
RGB-Biid umgeschaltet, wobei die fotgende Formel verwendet werden kann 
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Greyp = (Rp + Bp + GpV3, 

qp^ = H(|Greyp.Greyp(t-T)|.e2). 

[0068] In analoger Welse kann statt RGB auch YUV, HSV Oder ahnliches verwendet werden. 

[0069] Bei Dunkelheit wird bei Verwendung eines IR-Kanals vorzugsweise folgende Formel angewendet 

qp..R = H(|iRp-iRp(t-t)|-e3,,„). 

wobel IRp fiir den Wert des IR-Kanals steht. 

[0070] Die Werte der Gttterpunkte konnen belspieisweise auf die nearest-neighbor-Kamerapixetwerte gesetzt wer- 
den. Dies bewirkt eine h6iiere KontrastsensitivltSt ats ein Mittelungsverfahren. 

Grdbere Skala: Berelche m mlt Breite etwa 0,3 m JSngs zur Fahrbahn 

[0071] Es werden einmalig, d.h. nicht zum echtzieitkrrtischen Teil des Aigorithmus gehdrend, die eingezeichneten 
ROIs in aneinander angrenzende Berelche unterteilt. Uings der Fahrspur in z.B. ca. 30 cm entsprechende Pixelberei- 
che, quer zur Fahrspur in ca. 1 0 cm brelte Berelche - falls die Pixelbreite mehr als 1 0 cm bzw. lings mehr als 30 cm 
entsprechen sollte, entsprechend mehr. 

[0072] Die Bereiche m konnen noch detailllerterfestgelegt werden. !n der Mitte der Fahrspuren konnen die Berelche 
eine groBere Querbreite aufweisen, well dort bei geeignetem Bllckwinkel der Kamera, der vorzugsweise mogllchst 
nahe an der Vertikaien iiegt, keine Uberlappungen von Fahrzeugabblldern auftreten kdnnen, sofem sle - wie in den 
betrachteten ROIs fast immer der Fall - Innerhalb der Fahrspuren fahren. Die Querbreite kann • in Abhanglgkelt vom 
Kamerablickwlnkel - dort auf bis zu 1 m erhoht werden. 

[0073] Zusatzlich zu den Indizes der Pixel dieser Berelche werden die Berelche noch vorab ausgedehnt uber die 
beschrlebenen kleinsten ROIs hinaus zu den erwahnten nachstgroBeren ROIs, jedoch bleiben Bereiche von Baumen 
und Verdeckungen weitertiln ausgespart, insbesondere urn in FSilen besonders groBer Fahrzeuge das gesamte Fahr- 
zeug zu erfassen, wie spiter eriautert wird. Des Weiteren kann dieser erweiterte Bereich bis zuruck uber den Kreu- 
zungsbereich reichen, insbesondere fur extrem lange Fahrzeuge. 

[0074] Fur jeden Bereich m eines jeden ROI - d.h. der nfcht-vergroBerten ROIs - wird folgende Funktion f„ berechnet: 



= J) qp • 

q,rWertd 
im Bereich m 

[0075] Aus der Funktion f„ wird eine Funktion g„ berechnet, die eine geeignete Binarislerung darstellt: 

gm = '^(^m " [(Anzahl der qp-Werte Im Bereich m) • pj) 
wobei p eine Zahl zwischen null und eins 1st. 

[0076] Man kann die Funktion als (grobkomlges) Bewegungsblld bezelchnen. 

[0077] EIn besonders einfacher und schneller Aigorithmus ist der folgende: Man detektiert nur am Ende der ROIs in 
einem Bereich der Brelte a2, der von der Kreuzung wegfuhrenden Fahrbahn auf den mitlleren Bereichen (d.h. etwa 
nur 4 mal die Anzahl der Spuren pro StraBe) ob mindestens eIn g^ positiv ist. Nur dann wird Im jewelligen ROI nach 
einem Fahrzeug gesucht, das diesen aktlven Bereich enthatt. 

[0078] Falls man eine Analyse uber einen langeren Bereich als a2 bevorzugt, lassen sich bei sehr gekrummtem 
StraBenverlauf die Bereiche der Krummung anpassen und zum Krummungskreiszentrum hin stauchen, so dass wel- 
terhin eine 2-d-Matrix von Bereichen bleibt, bei der die beiden Koordinaten langs und quer zur Fahrbahn ausgerichtet 
sind. Die Stauchungswerte sind vorab gesondeit zu spelchern, so dass aus Bereichsclustern spSter mit Hilfe der WeltV 
Bild-Transfomiation direkt FahrzeugabsolutgrSBenabmessungen nftherungsweise berechnet werden konnen. 
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Schatten- und Beleuchtungsanalyse 

[0079] Wie aus dem Flussdiagramm in Fig, 1 ersichtitch, werden die Bewegungsbllder einer Schatten- und Beleuch- 
tungsanalyse unterzogen. Hierfur stehen verschledene Ansatze zur Verfugung. 

5 [0080] Zum einen entfernt die erwahnte Umrechnung der RGB-Bllddaten zu rg-Daten Schatten aus dem Blld. 

[0081] Eine alternative Moglichkeit besteht in eIner 4-Schatten analyse, die auch in die noch spater erlSuterte Fahr- 
zeugerkennung integrierbar 1st, wobei vorzugsweise die RGB-Daten verwendet werden. Es wird angenommen, dass 
der Schatten eines Fahrzeuges an der Vorderkante des Fahrzeuges auftritt und nicht an der Hinterkante Oder umge- 
kehrt oder vorn und hinten zugleich, oder dass das Fahrzeug kelnen relevanten Schatten wirft. Einer der ersteren 

10 beiden Falle tritt ein, wenn ein Fahrzeug sich teilweise in einem Schatten, insbesondere z.B. einer Hauserwand, be- 
findet, der dritte Fall, wenn ein Fahrzeug von der Sonne angestrahit wird oder der obere Teil des Fahrzeuges von der 
Sonne angestrahit wird und wenn nur ein mittiererTeii des Fahrzeuges von einenn Schatten, insbesondere z.B, eines 
Schlldes, Laternenpfahles oder Mastes. verdeckt wird, und der vierte Fall tritt ein bei Bewolkung und insbesondere, 
wenn ein Fahrzeug sich gerade in einem Hauserschatten befindet. Dies sind nur vier Falle, jedoch wird einer davon 

15 fast immer zutreffend sein. Denn ausgespart sind praktlsch nur FSIIe, in denen zufallig gerade nur vom vorderen oder 
hinteren Tell des Schattens des Fahrzeuges ein Teil von einem anderen Schatten verdeckt ist - dies ist extrem selten 
und wenn, dann im Allgemelnen nur sehr kurzzeitig der Fall, namlich bis sich das Fahrzeug sowelt vorwartsbewegt 
hat, dass wieder einer der vier beschriebenen Falle zutrifft. Fur die Fahrzeugprototypen kann ein qp g -Bild bzw. das 
entsprechende gm-Biid berechnet werden, dabei je 4 mal, namlich mit den jeweiligen oben beschriebenen verschie- 

20 denen SchattenverlSufen. Die Schatten ergeben im -Bild einen je t mal Fahrzeuggeschwindlgkelt breiten aktiven 
Bereich, daher sind die beschriebenen vier Schattenverlaufe hierfur gut venA^endbar. 

[0082] Fur den seltenen Fall, dass eine Erhebung hoher als 15 cm innerhalb des Schattens des Fahrzeuges liegen 
sollte, wie z.B. eine Hecke, die Fahrbahnen trennt und auf die in ungunstigem Fall Fahrzeugschatten fallen konnen, 
wird diese vorab im ROt gekennzeichnet und als solche berucksichtigt. Wenn im Schatten hingegen ein anderes Fahr- 

25 zeug lage, wurde dies im bewegungsbasierten Ansatz ohne Farbrenomiierung zunachst als Fahrzeugkette detektiert. 
Diese selten auftretende Zusatzaufgabe tritt bei der altemativen rg-Analyse oder ahnlichen Verfahren nicht auf. 
[0083] Die 4-Schattenanalyse liefert ferner eine grobe Beleuchtungsanalyse. Wirft beispielsweise das Fahrzeug ei- 
nen Schatten, so bedeutet dies, dass gerade die Sonne scheint. Optional kann die 4-Schattenanalyse mit der rg- 
Analyse kombinlert werden: Die 4-Schattenmethode Ist besonders geeignet bei starken Schatten, die rg-Analyse bei 

30 schwachen Schatten. 

[0084] Im Gegensatz zur rg-Schattenanalyse kann die 4-Schattenanalyse auch bei Schwarz-Wei3-Kameras ver- 
wendet werden. 

[0085] Im Falle einer solchen Beleuchtungsanalyse, bei der vorab einmalig Ergebnisse fur alle moglichen in Frage 
kommenden Sonnenstande und/oder Rotatlonswinkel - mit einer bestimmten Auflosung - fur alle Fahrzeugprototypen 
35 gespeichert werden, belastet dies nicht den Rechenzeitbedarf, dafur den Spelcheri^edarf . 

Bestlmmen von Fahrzeughypothesen 

[0086] Nachfolgend wird ein bevorzugtes Verfahren zur Bestimmung von Fahrzeughypothesen und der Fahrzeug- 
40 detektlon vorgestellt. 

Fahrzeugdetektlon, grob 

[0087] Es werden benachbarte Beretehe m. in denen gni > 0 gilt, d.h. die aktiv sind, Jewells in Clustern zusammen- 
<5 gefasst. Falls eine Liste einen Bereich m enthalt, der am Rand der ROI liegt, konnen weitere aktive Bereiche hinzugefugt 
werden unter Ven/vendung der oben beschriebenen vergrofBerteren ROIs. Dies liefert die ersten groben Hypothesen 
H^^ uber bewegten Objekte zur Zeit t. 

[0088] Alle Pixel in einem Bereich H^s, fur die qp > 0 gilt, werden als Hk, als genauere Hypothese fur ein Objektbe- 
wegungsbtid bezek:hnet. 

50 [0089] Zur Rechenzelteinsparung kann auf die -Berechnung verzlchtet werden. Sle kann vorzugsweise nach der 
GroBenbestimmung der H)^, die im folgenden eriautert wird, erfolgen. Das hat den Vortell, dass sle nur fur die Hypo- 
thesen, die fur ein Fahrzeug in Frage kommen, durchgefuhrt wird. 

[0090] Eine Umsortierung von Bereichen oder Pixel in einer Liste gemaB der langs-zur-Fahrbahn und quer-zur- 
Fahrbahn-Richtungs-Matrix kann vorzugsweise mit einem sogenannten Linearzeitsortieralgortthmus (z.B. MSD-first 
55 radix sort, optional kann dabei in einem Schritt nach dem ersten Byte bzw. ersten zwei Bytes sortiert werden) vorge- 
nommen werden. 
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Grobe GroBenabschatzung 

[0091] Die Projektionen der absoluten GroBenabmessungen der zusammengefassten Bereiche (bzw. H^S) auf 
die Fahrbahnebene werden abgeschStzt anhand der Referenzgrd3en. 
5 [0092] Zudem werden die Abmessungen quer zur Fahrtahn - d.h. sentcrecht im Bild zur Richtung ISngs der Fahrspur 
- und langs der Fahrbahn bestimmt. 

[0093] Altemativ ist es auch denkbar, die Richtung quer zur Fahrspur auf der Fahrspur zu verwenden. Optional kann 
eine Skalierung einer solchen Gitterstruktur auf der Fahrbahnebene bei flachem Blickwinkel durchgefuhrt werden, 
damit Kamerapixelwerte zur Erzeugung der Werte auf den Qttterpunkten nicht unnotig vervielfaltigt werden. 

10 [0094] Bel der Bestimmung der Brelten quer zur Fahrbahn muss ein erster Ansatz gemacht werden. Ein gunstlger 
Ansatz ist: Das Fahrzeugobjekt uberdeckt auf der realen Fahrbahn einen Bereich quer zur Fahrbahn von ca. 1 ,5 m. 
Aus diesem Ansatz wird mit Hllfe des bekannten Kamerablickwinkels eIne hypothetische Hohe des Fahrzeuges ermit- 
telt unter der Annahme, dass es quaderfdrmig ware mit einer Seite des Quaders parallel zur Fahrbahn. Bei einer 
dadurch emnittelten hypothetischen Hohe von mehr ats ca. 2m kann eine zweite Rechnung durchgefuhrt werden mit 

IS der Annahme, dass das Fahrzeugobjekt auf der realen Fahrbahn einen Bereich quer zur Fahrbahn von ca. 3m Ober- 
deckt. Die Zahlenwerte sind Eckwerte, die bei einer erfindungsgemaBen Erkennung optimiert werden konnen. 
[0095] Bei Hypothesen H^, deren Abmessungen langs Oder quer zur Fahrbahn nicht in einem vorgegebenen Bereich 
liegen, der In Abhangigkeit vom Blickwinkel fur die grofJten und klelnsten Prototypen enmlttelt wlrd, k6nnen diese vor- 
laufig als .Nicht-Fahrzeug-Objekf klasslflziert werden. 

20 [0096] Bel zu groBen Quer- Oder LSngs-Breiten findet eine Klassiflzierung als mehrere Fahrzeuge, im folgenden 
Fahrzeugkette genannt, statt. Die Analyse von Fahrzeugketten wird welter unten behandelt. 
[0097] Man speichert dabei, ob ein Bereich H^, insbesondere ein zu kleiner Bereich, am Rand des Blldes liegt Oder 
am Rand eines der anfangs einmalig eingezeichneten verdeckten bzw. nicht-ausgewerteten Bereiche. Diese Informa- 
tion kann beim Tracken des Objektes verwendet werden, um zu einem geeigneten Zeitpunkt, wenn ein Fahrzeug nicht 

2S mehr verdeckt oder am Rand ist, die benotigten Fahrzeugdaten zu emnitteln. 

[0098] Man ordnet die Bereiche H^^ bzw. Hk z.B. bzgl. Wurzel aus der Summe der Quadrate der Langs- und Quer- 
breiten. Die H^s bzw. werden dann der GroBe nach analyslert. 

[0099] Ab einer minimaten GroBe (z.B. eines Durchmessers von weniger ais 0,7 m), mindestens eines bzw. Hi^g 
kann als einfache Mogiichkeit die weitere Untersuchung weiterer H^^ bzw. unterbleiben. 
30 [0100] Aus dem oben beschriebenen ersten Ansatz der Fahrzeugbrelte von 1,5 m bzw. 3 m ergeben sich bei zu 
kleinen Objekten keine reell-posltiven Werte fur die Hypothesen der Fahrzeughdhen. In dem Fall kann man auch, wenn 
man MotorrSder Oder Fahrradfahrer erkennen mdchte, im zwelten Schritt eine niedrigere Breite, z.B. 0,4 m ansetzen. 
Wenn der dann emeut geschfitzte Objektdurchmesser immer noch keine 0,7 m en'eicht, kann man die Untersuchung 
des Hk beenden. 

35 [0101] Welter unten wird die genaue Ennittlung der Breite und Hohe der Fahrzeughypothesen beschrieben. 

[0102] Wenn mindestens zwei Hypothesen existieren, bei denen die Querbreite ausreichend wSre fur ein Fahr- 
zeug, die Langsbreite jedoch zu kurz, kann man untersuche, ob jeweils langs der Fahrbahn vor Oder hinter der Hypo- 
these Im oben eriauterten Abstand eine weitere derartige Hypothese existlert und gegebenenfalls derartige Hypothesen 
H|5 zu einer zusammenschlieBen. 

^ [0103] Auch nah benachbarte quer zur Fahrspur llegende Shnliche Hj^ bzw. Hi^s kdnnen zu einem zusammenge- 
schlossen werden. Quer zur Fahrbahn Ist der Abstand, In dem potentlell zu verbindende Gebiete verbunden werden, 
bevorzugt kleiner als Idngs. 

[0104] Dies wird wiederholt, falls die langs-zur-Fahrbahn- bzw. quer-zur-Fahrbahn-Brelte dann noch nicht ausrel- 
chende Gr6f3e hat und ein weiteres separates bzw. H^ in geelgnetem langs-zur-Fahrbahn- Oder quer-zur-Fahrbahn- 

45 Abschnitt vorhanden ist. 

[0105] Es kann mit Hllfe der aus dem t- und 2T-verz6gerten Bild gewonnenen, gleichartigen Bewegungsbilder ge- 
testet werden, ob die hypothetische Gesamt-Fahrzeuglange bis auf etwa 0,3 m unverandert ist. Etwa 0,3 m ergeben 
sich aus empirischen, in der Regel nicht uberschrittenen maximalen Bremsbeschleunigungen unter Berucksichtigung 
eines Fehlertoleranzwertes. Falls ja, kann der entsprechende Bereich ats eine Hypothese fur ein Fahrzeug definiert 

50 werden. 

Detektlon der Fahrzeugumrandung 

[0106] Die Umrandung der Bereiche steitt eine erste grobe Hypothese uber die FahrzeugrSnder dar. Die Um- 
55 randung der H^^ steitt eine im Prinzip bis auf Pixel genaue Hypothese dazu dar. 

[0107] Die Umrandung kann man wie folgt erhalten: Zunachst werden die aktiven Berek;he m wie folgt geordnet. 
Man ordnet die Bereiche zuerst nach Langs-zur-Fahrbahn-Koordinate des Bildes, die im folgenden der Einfachheit 
halber als x-Koordinate bezeichnet wird, zusatzltch fur je gleiche x-Werte nach der dazu auf der Fahrbahn senkrechten 
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Bildkoordinate, die a!s y-Koordinate bezeichnet wird. 

[0108] Fast alle Fahrzeuge haben im beschriebenen x-y-Koordinatensystem eine eingeschrankte Form: Die Umran- 
dung ISsst sich in x-Richtung als doppelte Funktlon von y beschreiben: elne fur die Vorderkante des Fahrzeuges, eine 
fur die Hinterkante - abgesehen von Details wie den ZwlschenrSumen zwischen den Vorder- und Hinterreiten, die zur 

5 Erkennung jedoch nicht benotlgt v^erden, DemgemSss gilt: Man geht die nach x-y-Werten geordnete Liste durch und 
nimmt fur jeden vorkomnnenden y-Wert die beiden Bereiche groBten x-Wertes und kleinsten y-Wertes. Das Verfahren 
ist besonders deshalb geeignet, well Vorder> und Hinterkanten der Fahrzeuge fast immer besonders vie! geschiossene 
Aktivltat im Bewegungsbild erzeugen. Diese Wertepaare speichert man ais Umrandung ab. IVIan kann kleinere Plxei- 
fehler (inaktive Pixel, die zur Vorder- oder Hinterkante gehoren) ausgleichen, Indem man Wertepaare, bel denen der 

to x-Wert mehr als z.B. 20 cm kleiner ist (groBer ist) als das Minimum der beiden y-Werte der y-benachbarten Wertepaare 
der Vorderkante (Hinterkante) des Fahrzeuges, ausschlieBt und kunstlich durch den Mittetwert der beiden Nachbam 
ersetzt. 

[0109] Man kann auchjeweils mehr Nachbam miteinbeziehen und somitzwei- oder dreipixelbrelte Fehierkorrigieren. 
Kon'ekturen sollten auf ca. 20 cm Breite beschrankt bleiben. 
IS [0110] Man kann die gefundene Umrandungen in einer Struktur mit einer mehrdimensionalen Matrix abspelchem: 
Der jeweiis untere linke Eckbereich wird gespeichert und die ubrigen Bereiche um diesen Wert verschoben und die x- 
und y-Breiten der Bereiche Hj^ werden gespeichert. Es gibt dann fur jeden y-lnteger-Wert bis zum Maximum zwei x- 
Werte, die wiederum Integer sind. 

20 Ermittlung der Geschwfndigkeft der Fahrzeughypothesen 

[01 1 1 ] Aus dem (t-2T)-Bild und (t-T)-Bild lasst sich wieder ein Bewegungsbild ermitteln und Fahrzeugobjekthypothe- 
sen generieren wie beschrieben. Alternativ ist dieses Bewegungsbild beispielsweise auch aus dem (t-2x)-Biid und t- 
Bild ermittelbar. Nun werden die Mittelwerte der Fahrzeughypothesenumrandungen mit denen des ersten Bewegungs- 

25 bildes (das aus den Bildem zu t und t-x gewonnen wurden), vergllchen. Ein Fahrzeug bewegt sich in der Stadt bei 
50km/h Geschwindigkeitsbegrenzung typischerweise mit nicht mehr als 90 km/h, ruckwarts mit nicht mehr ais 50 knrV 
h, daher konnen sich Fahrzeugmitteipunkte, bei Zulassung eines Toleranzfehlers etwa eines halben Meters, in der 
Zeitspanne x nicht weiter ais etwa 4,5 m vorw^rtsbewegcn bzw. 3 m zumck. Nur Fahrzeughypothesen mit Mittelpunkt- 
weiten in dem entsprechenden Bereich langs der Fahrbahn kommen fur eine Identifizierung mit einem Fahrzeug des 

30 vorherigen Bildes in Frage. Dadurch konnen Fahrzeuge als gleich Identlflzlert werden. Der Abstand der Mlttelpunkt- 
werte mai x entspricht dann einem 2-d-projizierten Geschwindigkeitsvektor, aus dem eine Hypothese uber die Fahr- 
zeuggeschwindigkeit berechnet werden kann. 

[0112] Bei extrem hohen Genauigkeitsanfordemngen kann beispielsweise ein Entzernjngsalgorithmus fur Verzer- 
rungen der Optik eingesetzt werden. Da die Fahrbahn zumindest in einem kieinen ROi in der Wirklichkeit durch eine 
35 Ebene genahert werden kann, kann dies im x-y-Koordinatensystem etc. im Prinzip in erster NSherung vorab korrigiert 
werden, indem dieses Koordinatensystem bei der Definition durch den Nutzer auf das Abbiid der StrafBe angepasst 
werden kann. Bei in der Ebene gekniimmtem StraRenverlauf kann dieser Verlauf zudem, wie an anderer Stelie be- 
schrieben, wiederum durch ein entsprechendes Koordinatensystem beschrieben werden. 

[0113] Aus der vorderen Seite der Umrandung des alteren Differenzbildes und der hinteren Selte der Umrandung 

40 des jungeren ergibt sk;h z.B. elne Hypothese der Umrandung des Objektes zu t-x im Farbbild. Um AusreiBerfehler zu 
vermelden, wird der Durchmesser robust bestlmmt, z.B. Indem er gemlttelt wird uber den Durchmesser und die zwel 
nachst kleineren Werte fOr die Durchmesser, die diese Hypothese fOr ein Objekt hatte, wenn das Wertepaar fOr den 
Durchmesser geloscht wurde. Der Durchmesser dieser Umrandung im Farbbild iiefert die Abschatzung fur die Projek- 
tion des 3-d-Durchmessers des Fahrzeuges bzw. Objektes. Dies Iiefert fur eine grobe Klassifizierung des Fahrzeuges, 

^5 d.h. fur viele wichtige Anwendungsfalle berelts ausrelchend genaue Daten. 

[0114] Der beschriebene Ansatz zur Ermittlung der Geschwindigkeit kann beschleunigt werden. Hierfur wird ange- 
nommen, dass das Fahrzeug im jeweiis nSchsten Bewegungsbild den gleichen Bereich einnimmt, jedoch um einen 
Betrag entsprechend seiner Geschwindigkeit mal x verschoben ist. Zudem kann man einen zusatzlichen entsprechend 
kleineren Bereich fur eine eventueiie Beschieunigung des Fahrzeuges ansetzen. Damit kann der Bereich des Fahr- 

50 zeugs im Bewegungsbild, das aus dem t-x und (t-2x)-Blld geblldet wird, und das wir als Hk^ (t-x, t-2x) bezeichnen, wie 
foigt bestlmmt werden: Man emittelt die Berebhe, die sich In der Fahrzeughypothese, die aus dem t und t-x-Blld 
gewonnen wurden, die auch im aus dem (t-x)- und t-2x-Bild bestimmten Bewegungsbild aktiv sind. Diesen Bereteh 
vergroBert man um die angrenzenden aktivon Bereiche. Dies Iiefert eine erste Hypothese uber H|j9 (t-x, t-2x). 
[01 15] Bei groBen Geschwindigketten benachbarter Fahrzeuge auf der derselben Fahrspur kann gemaB der Annah- 

55 me, dass das gerade betrachtete Fahrzeug elne dhnliche Geschwindigkeit haben wird wie das benachbarte, diese 
Analyse weiter optimiert werden. 

[0116] Bei den weiter unten beschriebenen alternativen Verfahren zur Fahrzeugerkennung, die nicht bewegungs- 
basiert sind, gibt es keine untere Grenzgeschwindigkelt zur Detektion von Objekten. 
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[01 1 7] Spezlell beim bewegungsbasierten Ansatz gibt es eine solche untere Grenzgeschwindigkeit fur eine erstma- 
lige Detektion des Objektes. Wenn ein Fahrzeug sich mehr als z.B. 1,3 Qp-Pixel im Zeittakt x vorwartsbewegt, wird 
eine geeignete Kontrastkante des Fahrzeugs im qp-BlId sichtbar sein und somlt eine Fahrzeugdetektion mogllch. Falls 
1 Pixel gemaR oblger Definition 0,1m entspricht, entsprechen 1,3 qp-Plxel ca. 13 cm. Im Falle eines Bllckwinkels a - 
5 d.h. der Winkel zwischen Kamerabildmlttenstrahl und der Senkrechten - relativ nahe der Senkrechten und bei t^1/6 
s ergibt sich 

Vgrenz = 13 cm • 6/s « 0,78 m/s « 2,8 km/h. 

10 

[0118] D.h., auch fur noch recht klelne Geschwindigkeiten unter5 knn/h liefert das qp-Blldfur Fahrzeuge gute Daten. 
[0119] Bei flachen Blickwinkeln a ist ein Faktor cos a zu berucksichtigen. Fur den Fall, dass die zu analysierende 
StraBe z.B. entlang der Bildvertikalen verlduft. ergibt sich damit 

Vgrenz(^) = 13 cm • 6/s / COS a = 0,78 m/s / cos a « 2,8 km/h / cos a. 



[0120] In dem Falle ergibt beispielsweise sich bei einem angenommenen extrem flachem Blickwinkel a=80° ein 
Grenzwert Vgrenz(BO**) =16 knn/h. 
20 [0121] Durch Kombination mit einem 1-d-Fourieransatz (siehe unten), der bei dicht an dicht folgenden Fahrzeugen 
und bei stehenden Fahrzeugen gute Daten liefert, lasst sich insgesamt die Qualitat der Ergebnisse des obigen bewe- 
gungsbasierten Ansatz welter erhohen. 

Zuordnung der Fahrzeughypothesen zu gespeicherten Prototypen 

25 

[0122] Die zu den in Form von Eckvektoren der 2d- Flachen gespeicherten Fahrzeugprototypen gehorigen 2-d-Um- 
randungen werden vorzugsweise nach Transformation der Eckvektoren auf die lokale Ebene des jeweiligen ROI Im 
3-d-Raum und anschlleBender 2-d-Projektion als Vektormenge charakterisiert. 

[0123] Zu einem jeden Prototyp gibt es Schatzwerte seiner ubiichenveise minimalen bzw. maximalen Bodenfange. 

30 Bei einem PKW ist beispielsweise eine Bodenl§nge zwischen ca. 2,5m und 6m Qbiich. Mtt den beiden extremen Bo- 
deniSngen kann der ubiiche Durchmesserberebh der 2-d-Projektion des Prototypen Idngs der Fahrspur ermittett wer- 
den - dies erfolgt fur jeden Prototypen einzetn. AnschlieBend wird ennittelt, fur wetche dieser Prototypen der 2-d- 
Durchmesser der Fahrzeug-Hypothese zwischen den beiden emiittelten extremen Werten liegt. Die ubrigen Prototypen 
scheiden fur diese Fahrzeug-IHypothese aus. 

35 [0124] AnschlieBend kann optional die Hypothesen-Umrandung mit einer solchen der verbleibenden in Frage kom- 
menden Prototypen verglichen werden. Die Umrandung kann In Fomn von x-y-Wertepaaren gespeichert werden, wobei 
x die Richtung tangs zur Fahrbahn darstellt. Dazu werden die x-Werte der Umrandung, die getrennt bzgl. Vorder- und 
Hinterkante der Hypothese gespeichert sind, von den zugehorlgen x-Werten der Prototypen abgezogen - ausgenom- 
men ein z.B. etwa 4% der Fahrzeughypothesen iSnge betragender Bereich oben und unten, urn auch sich ein wenig 

40. schief zur Fahrbahn bewegende Fahrzeuge geeignet zu berOcksichtlgen - und aufaddiert. Dies ergibt einen Transla- 
tionsfehler, der auf den Hypothesenberetch des Fahrzeuges angewendet werden kann und damit direkt eliminiert wer- 
den kann. AnschlieBend wird vorzugsweise wieder die Summe gebildet, jedoch der Betrage der Differenzen statt der 
Differenzen selbst. Dies ergibt einen .Fehler*. einen Unterschied zwischen Hypothese und Prototyp. Der Prototyp mit 
dem kleinsten ,Fehier' wird als Hypothese uber den Prototyp des Fahrzeugs verwendet werden. Die l-lypothese kann 

45 gegebenenfalls detaillierter untersucht werden oder aber als endgultige definiert und gespeichert werden. 

[0125] Eine genauere l-lypothese uber den Prototypen iSsst sich erzeugen, indem ein Ecken- oder Kantenbild etwa 
im Bereich der IHypothese berechnet wird, und diese mit denen der Prototypen verglichen werden, wobei beim Vergleich 
einer Musterbaumstruktur gefolgt werden kann, d.h., zunachst werden z.B. zwei sehr verschiedene Prototypen mit 
den realen Daten verglichen, fur den besseren Match konnen dann detaillierter unterschiedene Unterprototypen, ge- 

50 testet werden usw. Die Verwendung des Eckenbiides hat den Vorteil, dass nur wenlge Punkte mit den realen Daten - 
z.B. einem ortsaufgewelchten Eckenbild - verglichen werden mOssen statt eines Vergieichs mit einem vollst§ndigen 
2d-Bild, was erhebllch Rechenzelt einspart. 

Ldsung von SpezialfSllen 

55 

[0126] Wenn eine Kamera direkt von oben schaut bzw. einige Fahrzeuge auf einigen Fahrspuren immer genau ge- 
rade auf die Kamera zufahren bzw. davon weg, kann der bisher beschriebene Algorithmus bei Fahrzeugen die oberen 
2-d-Fldchen (Heck, Heckscheibe, Dach, Kiihlerhaube, etc.) mit Hilfe der Fahrzeugumrandungshypothesen nicht direkt 
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erkennen. 

[0127] Im Folgenden wird ein Algorithmus fur den genannten Problemfall beschrieben, dass ein Fahrzeug immer 
nur etwa frontal bzw. von der Ruckseite bzw. von oben zu sehen ist. Es reicht aufgmnd der vertlkalen Kamerablick- 
richtung bzw. des nicht von der Seite abgebildeten Fahrzeuges aus, die Schnittpunkte der Symmetrieebene des Pro- 

s totypen und der 2-d-Flachen des Prototyps naherungsweise zu berechnen und diese in das Bild und dann auf die 
Kamerabildebene zu projlzieren. Optional kann zur Erfiohung der Robustheit eine MIttelung uber einlge Pixel neben 
der Symmetrieebene ertolgen, Man emriittelt in diesem Berelch mittels Kantendetektion Hypothesen fur Kanten. Dies 
ergibt eine eindimensionale, positive Funktion. Die Funktion wird mit der Funktlon eines Prototypen einer Dachluke 
bzw. eines Dachgepdcks ortsaufgeweicht mit einem AhniichkeitsmaB verglichen. Wenn die Ahnlichkeit uber einem 

10 Schwellenwert liegt, kann die Hypothese uber Dachtuke bzw. Dachgepack deflniert werden. Die Nahe der Ahnltehkeit 
zum jeweiligen Schwellenwert lieferl ein MaB fur die SIcherheit der Hypothese, so dass beispielswelse ein Bulli und 
ein PKW bzw. verschiedene Hecktypen auch bei einem Blickwinkel relativ nahe der Vertikaien bzw. Blick nahezu von 
vom Oder hinten differenziert werden konnen. 

15 Verfahren bei Dunkeiheit 

[0128] Nachts bzw. allgemein, wenn die Gesamthelligkeit einen Schwellenwert unterschreitet, sind zur genauen 
Zahlung von Fahrzeugen zun&chst Fahrzeuglichter zu detektleren. Wenn kein Infrarotkanal zur Verfugung steht, so 
ist fur hohe Erkennungsraten nachts ein groBerer Bereich notig als der oben durch ^2 definierte. Vorzugsweise wird 
20 dieser bestlmmt zu 

a2.nacht8 = a2 + a = ai*(T/T-1) + e. 

25 bei obigen ParametenArerten ergabe dies z.B. 7,7 m. Wenn ein geelgneter Infrarotkanal zur Verfugung steht, bei dem 
ein groBerTeil des Fahrzeuges sich von seiner Umgebung kontrastmaBig abhebt, kann B2^naciits = ^ gesetzt werden. 

Grobe SchStzung der Anzahi der Fahrzeuge mit 1-d-Fourleransatz 

30 [0129] Zur groben Sch^itzung der Anzahi der Fahrzeuge Idsst sich ein 1 -d-Fourieransatz entlang einer LInie bzw. 
eines Bereiches einer Fahrspur, dessen Biidbereich ubiich nicht von Verkehrsobjekten anderer Fahrspuren bzw. Wege 
verdeckt wird, uber den der Mittelwert der RGB- bzw. YUV-Werte der Pixel quer zur Fahrspur berechnet wird entlang 
der Fahrspur venwenden, indem die am starksten vorkommende{n) Wellenlange(n) - beschrankt auf Bereiche zwischen 
5 m und z.B. der Langs-der-Fahrbahn-Lange des jeweiligen ROI - neben dem Konstantanteil entlang der LInie detektiert 

35 werden und die Lange der Linie geteiit durch den Welienlangenwert des am stSrksten vorkommenden Wellenidngen- 
beretches ais grobe Abschatzung der Anzahi der Fahrzeuge auf der jeweiligen Fahrspur im ROi verwendet wird. I^ierbei 
werden vorzugsweise eventuelle Fahrspurmarkierungen wie Abbiegepfelle aus dem Bereich fur die Id-Fourieranalyse 
vorab mit Hilfe der interaktiven Grafik ausgeklammert und die Werte quer zur Fahrspur neben diesen Markierungen 
entsprechend hoher gewichtet, so dass jeder Idngs-zur-Fahrspur-Abschnitt etwa gteichermaBen benucksichtigt wird. 

40 

Grobe Erfassung von FuBgangern/Radfahrern 

[0130] Neben den ROIs, die auf den Fahrbahnen deflniert wurden, konnen entsprechende ROIs auf Burgersteigen 
und/oder Radwegen etc. deflniert und anaiysiert werden. Mit dem erfindungsgemaBen Bewegungsclusteransatz kann 

^ eine grobe Schdtzung der Anzahi von FulBgangern erstellt werden. Denkbar ist beispielswelse auch eine Extraktion 
unverdeckter FuBganger mit dem Ansatz gemaB der DE 198 31 413 A1. Altemativ kann eine Kopfbererchsdetektion 
anhand eines geeignet binarlsierten Kantenbiides durchgefuhrt werden, wobei eine Kopfbereichsdetektion durch De- 
tektion darunterzur Person gehoriger ortsaufgeweichter Kanten untennauert werden kann. Die Objektdetektion kann 
altemativ mit dem CSC-Verfahren durchgefuhrt werden. Die Beschrankung auf die Analyse der ROIs, also kleiner 

50 Gebiete anstelle der Analyse im gesamten Verkehrsraum verringert den Rechenzeltbedarf der Verfahren entscheidend. 
Mit diesem Ansatz Idsst sich grob bereits eine Sch&tzung des gesamten FuBgSnger/Fahn'adverkehrs ermittein, well 
dieser im Ailgemeinen irgendwann eines der ROi Oberqueren muss. Durch zusfitzliches Verfoigen von FuBgdngem 
bzw. Radfahrern analog wie im Folgenden beschrieben, Idststeh eine genauere Erfassung des gesamten FuBgdnger/ 
Fahn-adverkehrs durchfuhren. 

55 

Verfoigen von Verkehrsobjekten z.B. Uber eine Kreuzung 

[01 31 ] Nachf oigend wird das Verfoigen bzw. das Tracking eines Fah rzeuges im Bereich einer Kamera naher ertautert . 
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[0132] Das Verfolgen von Verkehrsobjekten Ist aiternativ oder kumulativ mit der weiter unten beschriebenen erfln- 
dungsgemaBen Wiedererkennung von Verkehrsobjekten einsetzbar. 

[0133] Fur eine Erfassung von Routendaten kann auch auf die Detektlon eines Fahrzeugs vor den Kreuzungen 
verztehtet werden. Denn wenn ein Verkehrsobjekt in den ROIs hinter einer Kreuzung detektiert wird, konnen die Fahr- 

5 zeuge erkannt werden und ihre Farblnformatlonen gespelchert werden, wie weiter unten beschrleben. Wenn diese 
Informationen zu benachbarten Kreuzungen (bzw. zur Zentrale) Obertragen werden, kann man dort wiederum in den 
ROIs hinter der Kreuzung die Fahrzeuge detektieren und vergleichen und somit wiedererkennen. Die erfasste Route 
Ist dann urn das Anfangsstuck, namllch von vor der ersten Kreuzung bis hinter die erste Kreuzung kurzer, und es 
mussen die Daten mIt Fahrzeugen, die eine Kreuzung uber irgendein ROI veriassen, verglichen werden. 

10 [0134] Selbst dieses vereinfachte Verfahren - belspielswelse in Kombination mit dem 1*d-Fourieransatz - ist sehr 
gut geeignet, urn Ampein dynamisch zu steuem. Denn es wird damit detektiert, was von einer Kreuzung auf eine 
gegebene zweite zufahrt. Damit konnen die Ampein rechtzeitig geschaltet werden. Dies ist mit den bisherigen Induk- 
tionsschleifendaten nicht so gut moglich, well diese oft vor Kreuzungen positioniert sind und damit erst Daten liefern, 
wenn ein auf die Ampel zufahrendes Fahrzeug beretts abbremst. 

IS [0135] Im Folgenden wird das Verfahren zum Verfolgen erlSutert. Die Fahrzeuge werden innerhalb eInes groSen 
Berelchs der ROIs vor einer Kreuzung detektiert. Die Geschwindigkeitsschatzung liefert einen Geschwindigkelts- 
schatzwert v fur die einzelnen Fahrzeuge. Der Wert v wird mit dem Mittelpunkt des Fahrzeughypothesenbereichs 
verrechnet, um den Ort des Fahrzeuges zum Zeitpunkt t+T vorherzusagen. Der Hypothesenbereich wird auch um T-v 
virtuell weiterbewegt. Um den Fehler, der durch die Beschleunigung der Fahrzeuge entsteht, zu veningern, wird um 

20 den virtuellen Hypothesenbereich ein Konrekturbereich zugelassen, der den ubiicherwelse nlcht uberschrittenen Be- 
schleunigungswerten entspricht. 

[0136] Im vorhergesagten Bereich ohne den Korrekturbereich werden dann die aktiven qp-Bereiche zusammenge- 
llnkt in einem Hj^-entsprechendem Gebiet. Sich an dieses Gebiet anschlie3ende aktlve qp-Bereiche bzw. gn^-Bereiche 
werden an dieses Gebiet gelinkt, sofern sie sich im Korrekturbereich befinden. Dies liefert die neue Hypothese fur das 
25 Fahrzeug. 

[0137] Altemativ kann man den Gesamtalgorithmus verwenden, um eine neue Fahrzeughypothese zu generleren 
und sie anschlieRend mit der Vorhersage zu vergleichen und innerhalb eines Beschleunigungskorrekturbereichs als 
gleich zu identifizieren. 

[0138] Der Vortell der BeschrSnkung des LInkens auf den Korrekturbereich ist, dass auch Fahrzeuge, die zwischen- 
30 zeitig tellwelse von anderen Fahrzeugen verdeckt werden bzw. diese verdecken, verfolgt werden konnen, bis die Ver- 

deckung wieder verschwindet. 

[0139] Fur die neue Hypothese wird dann wiederum die Geschwindigkeit ermittelt, die den nachsten Schritt des 
Verfolgens ermoglicht usw. 

[0140] Mit alternativen AnsStzen der Detektion wie ecken- oder kantenbasierten Verfahren oder CSC-verwandten 
35 Ansatzen kann ebenfalls die jeweils neue Fahrzeughypothese emnittelt werden. Dies hat den Vorteil, dass Objekte 
ohne Weiteres uberelnen beliebig langen Stillstand hinaus verfolgt werden konnen. Das Drahtgittermodel! des be! der 
erstmaligen Detektion erkannten Prototypen, bzw. das Drahtgittereckenmodell, das sich aus den detektlerten Ecken 
ergibt, bzw. ein Tell des Drahtglttereckenmodells bzw. die detektlerten Ecken selbst, konnen bzw. kann an den neuen 
extrapolierten Ort mit verschiedenen kleinen Ortsabweichungen verschoben werden und die dort neu extrahierten 
40 Ecken bzw. Kanten daran angepasst werden. Dies kann beliebig oft wiederholt werden. Das eckenbasierte Verfahren 
hat den Vorteil, dass nur wenige Punkte verglichen werden mussen, und belm Verfolgen nur einlgerder Ecken reduzlert 
sich die Rechenzeit weiter und es wird ein Verfolgen von Objekten moglich, die teilweise verdeckt sind, z.B. PKWs, 
von denen nur ein Dach und eine Schelbe sichtbar ist. 

[0141] Fur die Verwaltung des Fahrzeugvertolgens konnen Belief-Netzwer1<e (gerichtete azyklische Graphen) ver- 
45 wendet werden. 

[01 42] Das Verfolgen von Fahrzeugen uber eine Kreuzung kann bei Fahrspuren vemriieden werden, die nur fur Ge- 
radeausfahrer oder nur fur Abbieger gekennzeichnet sind, wenn man in den ROIs anfangs Abbiege- und Geradeaus- 
Fahrspuren kennzeichnet. Viele Spuren sind jedoch sowohl fur Abbieger als auch fur Geradeausfahrer ausgelegt, so 
dass dies nicht allgemein venwendet werden kann. 

50 

Wiedererkennung von Fahrzeugen 

[0143] Nachfolgend wird die Wiedererkennung von Fahrzeugen an verschiedenen Orten, insbesondere an anderen 
Kreuzungen im Blldbereich einer anderen Kamera eriautert. 
55 [01 44] Die Projektlonen der 2-d-FI3chen der Prototypen auf die 2-d- Pixelebene werden in Form zusStzlicher Vektoren 
zu denen der Umrandung beruckslchtigt. Diese definieren 2-d-Bereiche im Blld bzw. Fahrzeuge. Diese Bereiche wer- 
den verkleinert, indem z.B. ca. 20 cm Randbereiche nicht beruckslchtigt werden. Bei den Hypothesen an die unteren 
Halften der PKW-Seitenflachen wird vorzugsweise nur ein etwa mittiger Bereich verwendet. well vorne und hinten die 
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Rader und deren Umgebung einen Storeinfluss bewirken. Die Farbmlttelwerte dieser Bereiche werden gespeichert, 
zusammen mit den ubrigen Daten der Hypothese des Fahrzeuges, Ortsvektor, Geschwindlgkeitsvektor, Prototyp. Lan- 
genabmessung, Fahrspur mit Rk^htung und StraBennamen bzw. Kreuzung sowie Zeitpunkt, gegebenenfails auch mit 
Beschleunigungsvektor und mehr. 

5 [0145] Die Verkleinerung um z.B. 20 cm bewlrkt erstens, dass entsprechende Abweichungen der individuellen Ab- 
messungen der 2-d-Flachen eines Fahrzeuges bis zu etwa diesem Grad nicht Ins Gewicht fallen, und dass etwalge 
Sonnenllchtreflexlonen, die manchmal an den RSndern der 2-d-FIachen auftreten, lierausfallen. 
[0146] FQr die Farbdatenwerte kdnnen zusStzliche Werte zur Erhdhung der Erfolgsrate der Wiedererkennung ver- 
wendet werden. wie belsplelsweise eine Hypothese beziiglich der Orientlerung des Fahrzeugs bzw. der jeweiligen 

10 Flache zur Fahrspur und der Sonnenstand relatlv zu der Hypothese an die Orientlerung des Fahrzeugs. 

[0147] Eine sehr einfache Varlante zur Berucksichtigung der Beleuchtungsverhattnisse 1st die Speichenjng der re- 
normierten rg-Farbmittelwerte der 2-d-Flachen, da diese auf grund der Renormierung wenlger stark als z.B. RGB-Werte 
davon abhangen, ob das Fahrzeug steh in einem Schatten Oder in der Sonne befindet. Detaillierteres bzgi. der Ge- 
wichtung der einzelnen Flachen wird spater beschrieben. 

15 [0148] Optional kann man Farbmlttelwerte von 2-d-Flachen Qber die verschledenen getrackten Blider eines Fahr- 
zeuges sowie Langenabmessungen mittein, um die Werte adaptiv zu verbessern, und man kann die zugehorigen 
empirischen Standardabweichungen ebentalls speichern. 

[0149] Mit dem vorgesteilten Verfahren konnen Fahrzeuge an anderen Kreuzungen wiedererkannt werden, indem 
die Daten der Fahrzeughypothesen verglichen werden, wobel z.B. jeweils durch das Fahrzeug selbst verdeckten 2-d- 

20 Flachen die der gegeniiberllegenden unverdeckten Seite zugewiesen werden konnen. Verglichen werden beispiels- 
weise ein Fahrzeugprototyp odermehrere mogliche Fahrzeugprototypen, die einen ahnlichen hohen Ahnlichkeitswert 
mit dem Objekt aufweisen, GroBenabmessungen, ein Zeitbereich, In dem ein Fahrzeug im jeweils in dem im StrafBen- 
netz nSchsten ubenwachten Bereich oder der mogiichen nachsten Bereiche erwartet werden kann sowie Farbdaten, 
wobel die Anzahl berucksichtigter Pixel als Qualitatskriterium des jeweiligen Farbdatenwertes genutzt werden kann 

25 etc. Dies kann mit einem einmalig zu trainierenden neuronalen Netz geschehen, jedoch auch durch Festlegung von 
Kriterien, beispielsweise Indem die GroBenabmessung und die helligkeitsrenonnlerten Farbwerte nicht mehr als einen 
bestimmten Wert abweichen durfen. Die Schwellenwerte konnen empirisch optlmlert werden. 
[0150] In Videobildem des Verkehrs zelgt sich Im allgemeinen, dass 2-d-Flachen, deren Normalen naherungswelse 
nach oben zelgen, wie z.B. das Dach des Fahrzeuges, oftmals den HImmel reflektieren, der bei nicht zu starker Be- 

30 wolkung verglelchsweise hell 1st. Dadurch 1st die wirkllche Farbe des Fahrzeuges an diesen FISchen wenlger gut er- 
kennbar als Insbesondere an den Seltenflachen eines Fahrzeuges, well die SeitenflSchen nomnalerwelse das dunkle 
Grau der StraBe reflektieren. Dadurch ergibt sich, dass die Farbmlttelwerte der Seltenflachen der Fahrzeuge, bei PKW 
naturlich nur der untere Tell dieser Flachen, der kelne Schelben enthalt, verglelchsweise sehr gut die Farbe des Fahr- 
zeuges kodieren. Daher sind vorzugsweise sichtbare Seltenflachen bzw. bei PKW die untere Halfte der Seltenflachen, 

35 d.h. die Seltenflachen ohne die Schelben, bei der Wiedererkennung hdher zu gewichten. 

Verschledene Fahrzeug-Wiedererkennungsmethoden 

[0151] Fur den eigentlichen Wiedererkennungsvorgang sInd verschledene Verfahren moglich, wobel diese jeweils 
40 ihre Vor- und Nachteile aufweisen und in AbhSnglgkeit der Rahmenbedlngungen geeignet zu wahlen sind. 

[0152] Eine Moglichkeit dazu ist, die extrahierten Fahrzeugdaten Jeweils an eine Zentrale zu senden und dort fur 
alle Kreuzungen der ubenwachten Region die Wiedererkennung durchzufCihren. Dabel ist der Rechenaufwand dadurch 
verringerbar. dass man nur an den Kreuzungen, wo ein Fahrzeug steh von einer Kreuzung aus startend hinbewegt, 
und nur in einem sinnvollen Zeitlntervall Fahrzeuge miteinander vergleicht. 
45 [0153] Eine altemative Moglichkeit Ist, die Daten jeweils nur an die benachbarten Kameras zu senden und jeweils 
on-board auf den Kamerarechnersystemen die Wiedererkennung durchzufCihren. Dies erfordert hohere Kosten fur die 
standige SIgnalubertragung, hat jedoch den Vorteil, dass bei Ausfall einer Kamera wenlger Daten verloren sind als im 
anderen Fall bei Ausfall des Zentratrechnens. 

[0154] Durch eine on-board-Wiedererkennung lasst sich das Gesamtsystem sehr etnfach auf sehr groBe Regionen 
50 und sehr vlele Kameras hochskalleren, well In der Zentrale kein Rechenaufwand fur die Wiedererkennung anfSllt. 
[0155] Wenn man die Fahrzeugwiedererkennung on-board durchfuhrt, kann man vorzugsweise an Fahrzeug-Daten 
erst die Wiedererkennung berechnen und dann gegebenenfails die Fahrzeug-Daten als wiedererkannt kennzeichnen 
und erst dann an die benachbarten Kamerarechner versenden. Die Daten des wiedererkannten Fahrzeuges werden 
dabei weltergesendet in Verblndung mit Zeitpunkt und Ort der Detektion des Fahrzeuges und vorzugsweise Zeitpunkt 
55 und Ort, ab dem das Fahrzeug vom Algorithmus der Kamera nicht mehr erfasst wurde. Bei weiteren Wledererkennun- 
gen In anderen Kamerarechnern werden die Routendaten jeweils angehangt. 

[0156] Real wird die Wiedererkennungsrate im Allgemeinen naherungswelse exponentlell mit der Anzahl der Kreu- 
zungen auf der Route sinken, wobel die Basis der Prozentsatz der an einer Kreuzung wiedererkannten Fahrzeuge ist. 
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Routen uber eine gewisse maximale Lange werden daher im Allgemelnen nicht komplett erfasst. Die maximale Lange 
steigt mit Erhohung der Rechenleistung der verwendeten Systeme und entsprechend detaillierteren Daten uber die 
Fahrzeuge. 

[0157] Man kann die Fahrzeugdaten, deren WIedererkennung an einerKreuzung aufh6rt, mit derKettederbisherigen 
5 Wiedererkennungsorte und Zeitpunkte, d.li. seiner Routeninformatlonen, an die Zentrale senden, d.h. es nnussen nur 
die endgultigen Routen hypothesen ubertragen und in der Zentraie gespeichert werden. 
[0158] Die vorgestellten Wiedererkennungsverfaliren lassen sich in drei Kategorien unterteiien: 

1 ) On-board-Wiedererkennung: Diese Methode ist besonders einfach auf sehr viele Kameras hochskaiierbar, denn 
10 die Verarbeitung on-board ist maximal auf die Daten der benachbarten Kameras beschrankt, die begrenzt ist, z. 

B. bei einer Kamera pro Kreuzung auf die im Ailgemeinen etwa 4 benachbarten Kreuzungen bzw. StraBen. Die 
Daten eines Fahrzeuges sind z.B. erst nach Abschluss der Route an die Zentrale zu senden. Diese mussen dort 
nur verwattet werden, daher ist hierbel ein besonders niedriger Rechenaufwand pro Kamera in der Zentrale not- 
wendig. 

15 Ferner kann bei einer extremen Hochskalierung auf beispielsweise uber 1 0.000 Kameras In der Zentrale die 

Arbeit zur Verwaltung und Speicherung der Ergebnisse auf mehrere Rechner verteiit werden, bei denen Jeder 
Rechner Daten von einem Subnetz der ubenwachten Region empfangt und verwaltet. 

2) Wiedererkennung in einer Zentrale Ist Im Falle einer nicht zu groBen Anzahl Kameras, d.h. nIcht mehr ais der 
20 jeweiiige Zentralrechner verarbeften kann, sinnvoll, weil der Rechenaufwand auf den on-board- Rechnern niedriger 

ist und well die Kommunikationskosten niedriger sind, da die Fahrzeugdaten nur an die Zentrale ubermittelt werden 
mussen und nicht an benachbarte Kameras. 

3) Wiedererkennung in einer Zentrale fur eine groBe Anzahl Kameras: Sofern die Anzahl fur einen PC/Rechner 
25 zu groB gewahit wird, kann man diese Aufgabe mit mehreren Rechnern, auf denen deflnlerte Subnetze der Stadt 

bearbeitet werden und nur an den Randem der Subnetze die Daten zwischen den Rechnern ausgetauscht werden, 
Idsen. 

[0159] Jede Kamera sendet entweder kontlnuierllch Oder z.B. alle 1 0 Minuten die jeweils gesammetten Daten der 
30 Fahrzeughypothesen, wobel ein getracktes Fahrzeug nur einmal gesendet wird mit gegebenenfalls Zeltpunkt des Be- 
ginns des Trackens sowie Ort, Geschwindigkeit und Fahrspur vor der Kreuzung und Zeitpunkt des Endes des Trackens 
mit Ort, Geschwindigkeit und Fahrspur u.s.w. zusammen mit den oberen beschriebenen Fahrzeugdaten (Prototyp, 
Fahrzeugabmessungen, Farbmittelwerte der 2-d-Flachen usw.). Die Daten ertialten vorzugsweise jeweils einen Si- 
cherheits- und/oder Genauigkeitswert, der - wie oben beschrieben - bei der Ermittlung der jeweiligen Daten anf allt. 
35 Bel Methode 1 werden die Daten an die benachbarten Kamerarechner gesendet, bei Methode 2 und 3 nur an die 
Zentrale. 

[0160] im Foigenden wird auf die beiden sich wesentlich unterscheidenden Methoden 1 und 2 detaiiiierter einge- 
gangen. 

[0161] Bei Methode 2 werden die gesammelten Daten an eine Zentrale gesendet. Dort werden die Daten in geelg- 
40 neter Weise gespeichert. und es werden Jeweils die Daten von Fahrzeugen mit denen der In Frage kommenden be- 
nachbarten Kreuzungen zu geeigneten Zeiten verglichen und per Schwellenwert wird gegebenenfalls Ubereinstim- 
mung festgesteilt. 

[0162] Den Daten fur wiedererkannte Fahrzeuge werden die Daten der Zeitdifferenz und der Kamera, an der die 
Wiedererkennung stattfand. hinzugegeben, wobel den DatensStzen fur die Wiedererkennung grundsdtzlk:h vorab ein 

45 zunachst leerer Speicherbereich fur die gegebenenfalls entstehenden Routeninfonnatlonen hinzugefugt wird. 

[0163] Die Uhren der Kamerarechner konnen von einer Zentrale aus synchronlsiert werden. im einfachsten Fall 
reicht eine etwa sekundengenaue Synchronlsierung aus. In Fallen, in denen nah benachbarte Bereiche von verschie- 
denen Kameras ubenvacht werden, sind die Uhren dieser Kameras vorzugsweise genauer synchronlsiert. Fur den 
ubitchen Fall» dass die nachstbenachbarten Bereiche des StraBen netzes, die von je einer Kamera uberwacht werden, 

50 zwei Bereiche sind. von denen einer vor der Kreuzung und einer dahinter liegt, gilt folgendes: Das Verfolgen von 
Fahrzeugen kann optional unterbleiben. Dafur kann eine Fahrzeug- Wiedererkennung zwischen diesen beiden Kame- 
ras durchgefiihrt werden. Durch die Wiedererkennung wird es mogiich, groBere Zeitfehler zwischen den Uhren zuzu- 
lassen. Nach eriolgreicher Wiedererkennung kann eine eventuelle auf Asynchronitfit der Uhren beruhende falsche 
Zeitreihenfolge nachtraglich korrlgiert werden. Mittels der ermittelten Geschwindigkelten der Fahrzeuge und dem Ab- 

55 stand Ihrer ROIs kann man zudem einen guten NSherungswert fOr den kon'ekten Zeftabstand berechnen und den 
Fahrzeug-Routendaten hinzufugen. Aiternativ kann mit jedem Datenaustausch (oder nur bei einigen Oder ganz unab- 
■ hangig davon) ein Uhrenabgieich erfolgen, wobel vorab den Uhren eine Prioritatenliste zugeordnet wird. Die Zeit der 
Uhr, die jeweils hdher In der Prioritdteniiste steht, wird auch auf dem Empfdngen-echner eingestellt. Die hochste Prioritat 
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erhalt vorzugswelse die Uhr in der Zentrale. 

[0164] Zuzuordnende Zeiten iassen sich welter verbessem. indem eine Interpolation aus Uhrenabweichungen aus 
zuruckllegenden Synchronisierungen verwendet wird. d.h., wenn eine Uhr bisher z.B: schnelier ging als die Uhr der 
Zentrale, so kann man diesen schnelteren Gang auch fur die aktuell zu notierenden Zeitpunkte bemcksichtigen. 
5 [01 65] Wiedererkannte Fahrzeuge und Daten anderer Systenne wie Floating-Car-Daten und Induktionsschleifen er- 
moglichen die prognostlzierte Relsezelt der Jewells nSchsten Fahrzeuge sehr gut einzugrenzen, wodurch sich das fur 
eine Wiedererkennung zu untersuchende Zeltfenster welter eingrenzt, was die notige Rechenleistung welter reduziert. 



Hochskalierung auf gr66ere Reglonen: 



10 



[0166] Bel Methode 1 werden die Daten on-board der Kamerarechner miteinander verglichen. Dabei werden bei- 
splelsweise nur beendete Routen an die Zentrale ubenmittelt. Dafur mussen die Daten von einer Kamera zur Wieder- 
erkennung der Fahrzeuge jewells an die benachbarten Kameras ubertragen werden. 

[0167] Vorzugswelse ubermittett eine Kamera Daten von je einer wegfuhrenden StraBe nur an Jewells die Kamera, 
15 die den Jewells ndchstilegenden Bereich im weiteren Verlauf dieser StraBe erf asst bzw. an die Kameras, welche, falls 
die Stra3e sich verzwelgt und falls an der Verzweigung keine Daten erfasst werden, hinter dieser Verzweigung die Im 
StraBen verlauf nachstliegenden Gebiete erfassen. 

[0168] f^ethode 1 hat den Nachteilderfurdiezusatzlichen Datenubertragungen zwischen den Kameras anfallenden 
Kosten im Dauerbetrleb, Jedoch den Vorteit der einfacheren Skalierbarkelt auf wesentlich groBeren Reglonen, well In 

20 der Zentrale keine Fahrzeugverglelchsoperationen ausgefQhrt werden. 

[0169] Allgemein gilt fur beide Methoden, dass es nach einmaliger Wiedererkennung eines Fahrzeuges auf zwei 
benachbarten Kreuzungen moglich ist, die Rechenzeit welter zu verringern, indem die dabei automatisch ermittelte 
Relsezelt zwischen den Kreuzungen als Mittelwert eines groBeren Bereichs von moglichen Relsezeiten der nachfol- 
genden Autos angenommen werden kann und somit nur in einem relativ kleinen Zeltlntervall die entsprechenden Fahr- 

25 zeuge verglichen werden mOssen. Das fur das jewells nachste Fahrzeug erwartete Reisezeltintervall kann anhand 
weiterer wiedererkannter Fahrzeuge kontinuierlich adaptiv verbessert werden. 

[0170] Das Ziel ist dabei zunachst nicht, jedes Fahrzeug wiederzuerkennen, sondem einen gewissen Prozentsatz 
der Wiedererkennung zu erreichen. Damit stehen zusStzllch Routeninfonnationen, mit denen u.a. eine Verkehrssimu- 
latlon verbessert werden kann, zur Verfugung. Die gewonnenen Daten konnen optional mIt Floating-Car-Daten und 
30 anderen Datenquellen verbunden werden und Ihre Genauigkeit kann dadurch welter erhoht werden. MIt Hllfe einer 
Computersimulation des Verkehrs konnen zum Belspiel Prognosen fur den Verkehr erstellt werden, Nutzern z.B. uber 
Handy/PDA in Echtzeit Indivlduelle Reisezeltlnfonnationen bereltgestellt werden sowie eine dynamlsche Ampelsteue- 
rung und Steuerung von Signalanlagen zur Geschwindlgkeltsbegrenzung zur Vorbeugung von Staus durchgefuhrt 
werden. 
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Alternative Verfahren zur Fahrzeugerkennung 



[0171] 



40 Altematlv-Verfahren 1 

Bestlmmung eines Rechtecks parallel zur Fahrbahn, in dem sich das Fahrzeug beflndet. 
Es mussen * wenn das Fahrzeugabbild Im wesentlichen komplett im Rechteck llegen soil - vier Parameter 
optlmiert werden (Brelte, Hohe und zwei Ortskomponenten). Dies kann sequentiell erfolgen, da Fahrzeuge in den 
betrachteten ROls ubilcherwelse etwa langs der Fahrspur llegen. Unter Annahme eines relativ flachen Blickwinkels 

45 werden vorzugswelse zundchst in den oben beschriebenen kleinsten ROls und deren Verlgngerung langs der 
Fahrspur Objekthypothesen bestimmt. Dieses Vorgehen ist zu bevorzugen, da die kleinsten ROls so definiert 
wurden, dass dort praktisch nie partielle Verdeckungen zwischen Fahrzeugen verschiedener Fahrspuren auftreten. 
Ist der Winkel zwischen der Bildvertikalen und dem Abbild der StraBen richtungs-Li nie klein genug ist, so kommen 
partielle Verdeckungen zwischen Fahrzeugen verschiedener Fahrspuren auch Im an die kleinsten ROls angren- 

50 zenden Bereich kaum vor. Die weiteren Parameter fur die Objekthypothese Iassen sich damit direkt ermitteln. Bel 

weniger flachen Blickwinkein werden vorzugswelse zunachst nur die L§ngen l&ngs der Fahrspur emnittelt. Eine 
anschlieBende Komplettierung der Objekthypothesen quer zur Fahrspur Im Bereich, in denen eine solche Fahr- 
zeughypothese erwartet werden kann, erfolgt bevorzugt mlt Hilfe des oben beschriebenen Clusterverfahrens. Al- 
ternativ lasst sich nach Ermlttlung der Langsabmessungen der Objekthypothesen sowie der Geschwlndigkeitshy- 

55 pothesen auch ein Matchen der Fahrzeug-Prototypen z.B. mlt eInem ortsaufgewelchten Kantenblldverfahren (vgl. 

DE 198 31 413 A1) Oder einem Eckendetektlonsverfahren durchfuhren. Dabei kann eventuelles vorhandenes 
Wissen daruber, dass ein Bereich zu einem bestimmten Fahrzeug gehort, berucksichtigt werden, wenn dieses 
Fahrzeug in einer der Kamera naheren Fahrspur bereits gefunden wurde. Dieses Wissen kann gegebenenfalls 
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beim Matchen der aktuellen Objekthypothese direkt als solche mit beruckslchtigt werden. 

Objekthypothesen, die in den kleinsten ROIs und deren Verlangerungen entiang den Fahrspuren detektiert 
werden, konnen belsplelsweise als ein niedriger Level of Servtee einem Nutzer zur Verfugung gestellt werden (als 
Hypothesen fiir etwa oberhalb derGrenzgeschwindlgkelt bewegter Fahrzeuge) in Kombination mit den Daten aus 
5 dam 1-d-Fourieransatz. 

Fur eine Anpassung der Rechtecke werden zunSclist in einem Rechteck (z.B. mit einer Breite von 5 m langs 
der Fahrbahn) langs und quer zur Fahibahn mittig der Fahrspur das qp-Bild bzw. gm-Bild mit gleichen Gewichten 
summiert und mit dem Faklor (Durchmesser Kamerabild/Durchmesser Rechteck)^, z.B. X^0,7, multipiizlert - dies 
wird als der I-Wert des Rechtecks bezelchnet. Das Rechteck wird dann langs der Fahrspur uber das gesamte ROI 
10 in z.B. 50 cm Abstanden verschoben. Die Verschiebung ist am wenigsten rechenzeitaufwandig, wenn jeweils nur 

die ca. 50 cm breiten Differenzrechteckstreifen zu Beginn und zum Ende des zuletzt berechneten Rechtecks be- 
rechnet und zum vorherigen Wert entsprechend addiert bzw. davon geeignet subtrahiert werden. AnschlieBend 
werden Immer grofSere Rechtecke betrachtet, wobei z.B. SOcm-Streifen an die bereits berechneten angeglledert 
werden. Die theoretische Begrundung des Ansatzes ist in "R. Woesler, Segmentation model: analytical results 
15 and biological implications. Biol Cybern, 85, 203-210, 2001" beschrieben. 

Das Alternativ-Verfahren 1 kann fiirsehr langsame Fahrzeuge bei ungiinstigem BItckwinkel optimiert werden, 
Indem man zunachst Fahrzeugcluster mit dem welter oben beschriebenen Clusterverfahren ennlttelt und deren 
innere Bereiche als aktiv definiert. AnschlieBend konnen in den kleinsten ROIs. verldngert entiang der Fahrspur, 
geeignete Aktivitatsbereiche mit dem Rechteckverfahren ermittett werden. Dadurch stellt man sicher, dass bei 
20 sehr langsamen Objekten, bei denen in den kleinsten ROIs die Aktivitatsbereiche von Vorder- und Hinterkante 

welt entfemt liegen, diese verbunden sind und als zu einem Fahrzeug gehorend erkannt werden. 

Fur LKW werden zwei bzw. drei der berechneten benachbarten Rechtecke aneinandergefiigt und die l-Werte 
berechnet. Voriaufige Fahrzeughypothesen sind die lokalen Maxima uber den beschriebenen 3-d-Scale-Space 
der l-Werte. 

25 Diese Liste iokaler Maxima wird beglnnend mit dem grofBten l-Wert abgearbeitet, bis ein minimaler l-Wert 

erreicht ist. Anschlie3end konnen die vier Parameter des Rechtecks einer Fahrzeughypothese detaillierter ange- 
passt werden, indem durch Verschiebungen/Skalierungsanderungen die Rechtecke, die einen l-Maximum ent- 
sprechen, direkt bzw. optional iterativ bestimmt werden, mit Hilfe einer rSumlich beschrdnkten, quadratlsche In- 
terpolation ermittelter i-Werte bis ein Schwellenwert der Genauigkelt unterschritten ist - im seltenen Fall, dass die 

30 quadratlsche Interpolation keinen Wert im beschrankten Bereich ergibt, wird ein Gradientenaufstieg mit binarer 

Suche durchgefuhrt. 

Optional kann statt der beschriebenen sequentielien eindimensionalen Anpassung eine mehrdimensionale 
Anpassung mit Hilfe der mehrdlmensionafen quadratischen Optimierung durchgefuhrt werden. 

Optional kann eine weitere Anpassung fiir hohere Genauigkelt erfolgen bzgl. der Orientierung eines Fahrzeugs 
35 zur Fahrspur, die jedoch wie gesagt i. allg. nicht notig sein wird, weil Fahrzeuge in den betrachteten ROIs ubiich 

langs der Fahrbahn orientiert sind. 

Die Rechtecksgebiete, die uber das ROI verschoben werden, konnen vorab gespeichert werden, d.h. sie 
brauchen nicht in Echtzelt bestimmt werden. 

40 Alternativ-Verfahren 2 

Eine weitere Alternative ist eine beschleunigte Fassung einer sogenannten Scale-Space-Synchronlsatlon, die 

nicht spezlell auf Fahrzeuge abgestimmt ist. 

Die lokalen Maxima der untersten Ebene des Scale-Space werden gespeichert und zwar die Maxima In der 

Ebene konstanter rezeptiver Felder, d.h. nicht die lokalen Maxima des 3-d-Scale-Space. Im Gegensatz zum Al- 
45 ternativ-Verfahren 1 entsprechen die lokalen Maxima nun z.B. rezeptlven Feldem mit 50 cm Durchmessern (vgl. 

R. Woesler, Segmentation model: analytical results and biological implications. Blot Cybern, 85, 203-210, 2001). 

In der Umgebung dieser lokalen Maxima, und nur dort. werden dann die Werte I berechnet fur je vier rezeptive 

Feider mit nfichstgroBerem Durchmesser (Skalierungsfaktor der Durchmesser z.B. s=1 ,3), deren Zentren entwe- 

der einem Gitter entnommen sind, Oder Jeweils benachbart in gleicher Distanz zum Zentrum des zugeh5rigen 
so lokalen Maximums der niedrigeren Ebene berechnet werden. Der gr63te dieser vier l-Werte wird In einer Liste 

gespeichert. 

Alternativ konnen auch mehr Felder berechnet werden sowie das gr6(3te lokale Maximum der l-Werte dieser 
Felder, wiederum in der jeweltigen Ebene und nicht im 3-d-Scale-Space. AnschlieBend werden nur diese lokalen 
Maxima gespeichert. 

55 Dies wird fur alle lokalen Maxima der untersten Ebene des Scale-Space durchgefOhrt. Iterativ wird anschlle- 

Rend dies hin zu wiederum gr6(3eren rezeptiven Feldern fortgefuhrt usw. Dabei werden zudem lokale Maxima bzgl. 
der Scale-Space-Richtung markiert. Solche sind Kandidaten fur sogenannte Root-Neuronen, deren FetdgroBen 
erste grobe ObjektgroBenhypothesen darstellen. 
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Die Verbindung lokaler Maxima uber die Ebenen hinweg stellt einen Baum im Scale-Space dar. Der Vorteil 
der Berechnung des Baumes gegeniiber der Berechnung des .vollen' Scale-Space ist die verringerte Rechenzeit, 
well nur noch die wichtigsten Punkte berechnet werden - dies sind genau die B3ume. Die Synchronisation der 
Neuronen im Scale-Space entsprlcht der Speicherung der Baume. Auch das in diesen BSumen im Scale-Space 
5 auftauchende globale Maximum ist gesondert zu speichem. Es ist erster Kandidat fur eine Fahrzeughypothese. 

Dies ist fur jeden der BSume, die in der untersten Ebene beginnen bis zu einem unteren Scliweiienwert fQr den 
i-Wert, durcfizufuhren. 

Die ersten Fahrzeughypotliesen werden wie f olgt ennittelt. Die Maximaiiste Icann abgearbeitet werden wie die 
Maximaliste im ursprunglichen Scale-Space. Kriterien fur Fahrzeughypothesen sind die Absolutgr6f3e der Felder, 

10 die z.B. rechteckig iangs der Fahrspur gewahit sein konnen, und dass der l-Wert einen minimaien Betrag uber- 

schreiten muss, den man fur ein hypothetisches quadratisches 'Fahrzeug' minimaler GroBe en-echnet, dass sich 
so iangsam bewegt, so dass es waiirend x nur den Bereich eines qp uberschreltet. 

Genauere Fahrzeugumrandungen kdnnen wie folgt bestimmt werden. Der Baum durch die Ebenen bis zu 
einem lokalen Maximum im 3-d-Scale-Space winj, wahrend er berechnet wird, gespeichert und anschlieBend kann 

15 man die Felder der untersten Ebene eines Baumes genauer betrachten. Die aktiven qp (bzw. gj, die sich in diesen 

Feidem (z.B. sigma-Umgebung) befinden, und der Bereich von qp-Pixel (bzw. von Berefchen m), deren Aktivltat 
eins ist. und die direkt verbunden sind mit den Aktiven im Feid uber jeweils aktive Nachbam, werden zusammen 
gespeichert. Hieraus kann die grobe Umrandung des Bewegungsbildes der Fahrzeughypothese ennittelt werden. 
Diese kann wiederum mit den aus den Prototypen erzeugten Bewegungsbildern verglichen werden zur Prototyp- 

20 klassrfizierung. Das weitere Vorgehen ist analog wie bei den anderen Methoden beschrieben. 

Altemativ-Verfahren 3 

Eine weitere Alternative ist eine Scale-Space-Synchronisation, die speziell auf Fahrzeuge abgestimmt ist. 

Durch die spezielle Abstlmmung auf Fahrzeuge ist dieses Alternatrv-Verfahren schneller als das Alternativ- 
es Verfahren 2. Vorder- und Hinterkanten von Fahrzeugen sind die kleinsten bei der Fahrzeugdetektion relevanten 
Objektteile speziell bei der Fahrzeugerkennung tags anhand der Bewegungsbilder, well sie im Bewegungsbild i. 
alig. am deutlichsten sichtbarslnd. Entsprechend gefomrite Polygene (im einfachsten Falle Rechteckefur Vorder- 
bzw. Hinterkante) ersetzen nun die unterste Ebene des Scaie-Space, Wiederum werden die lokalen Maxima be- 
stimmt. 

30 Wie bei Altemativ-Verfahren 2 kdnnen genauer als die GItterkonstante d^ (siehe R. Woesier, Segmentation 

model: analytical results and biological implications. Biol Cybem 85, 203-210, 2001) der Polygene matchende 
Felder bestimmt werden unter Verwendung der ein- Oder mehrdimenslonalen, raumlich beschrankten, quadrati- 
schen interpolation zur Maximierung des l-Wertes. 

Die nSchsthohere Ebene stellt bereits die PKW- bzw. gegebenenfalls Motorrad-Ebene dar. Die rezeptiven 

35 Felder fassen Fahrzeugvorder- und Fahrzeughlnterkantenhypothesen zusammen. LKWs sind auf der wiederum 

nachsthoheren Ebene als rezeptive Felder, welche auch aus der Berechnung der qp-Bilder der Fahrzeugprototypen 
generiert werden konnen, zu finden - dies alias sind Schritte, die einmalig durchgefuhrt werden und gespeichert 
werden, so dass sie die Geschwindigkelt der Algorithmen, die kontinuleriich durchgefuhrt werden mOssen, nicht 
beiasten. 

40 Optional anstelle der qp-Funktion kann auch die g„-Funktion venwendet werden - in dem Falle wSre die Re- 

chenzeit welter verringert, well es wesentlich weniger Bereiche (m) als qp-Pixel gibt. 

Altemativ-Verfahren 4 

In einem weiteren Altemativ-Verfahren wird ein ortsaufgeweichtes Kantenbild bzw. Eckenbild zum Matchen 
45 mit den Kanten bzw. Ecken des Prototyps venwendet. 

Das Altemativ-Verfahren 4 kann in den ROIs ohne Vorab-Bewegungsanalyse Oder in den Bereichen, die zuvor 
durch die Bewegungsanatyse ermittelt wurden, stattfinden, was beides eine Rechenzeiteinsparung gegenuber 
einer Suche im gesamten Verkehrsraum des Bildes darstellt. Das Kantenbild kann z.B. im RGB-Farbraum und/ 
Oder im rgb-Farbraum oder einem anderen geeigneten Raum berechnet werden. Die Kantenbiidberechnung kann 
50 optional uber den gesamten Bereich Im Farbbild durchgefOhrt werden, welcher einem Rechteck Idngs und quer 

zur Fahrbahn urn die emnittelte Fahrzeug-Hypothese entspricht. 

Die Kantenbiidberechnung erfolgt im einfachen Falle z.B. durch Bildung der Summe der BetrSge der Diffe- 
renzen der Farbwerte vom jeweils aktuellen Rasterpunkt mit den benachbarten Rasterpunkten rechts und oben, 
optional zusStziich mit den rechts oben und rechts unten. und Summation uber die Werte unter Berucksichtigung 
55 eines Schwelienwertes der Gesamtsumme fOr aktiv/inaktiv (=Kante/keine Kante). 

Der Fall, dass nur die Rasterpunkte oben und rechts venvendet werden, fuhrt z.B. auf folgende Formel fur die 
Indikatorfunktion Kp der Kantendetektion fur einen Rasterpunkt p 
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Kp.RGB = H(|Rp-Rp(^„j| + |Gp-Gp^^)| + |Bp-Bp(,be„)| + |Rp-Rp(rechls)| + 
Pp-Qp(recW8)| + |Bp-Bp(^hts)|- ^4) 

5 

bzw. 

^,.igb = ^^(|''p-rp(oben)| + lgp-9p(ob8n)| + |bp"^p(oben)| + Kp-''p(rechts)| + 
|9p- 9p(rechts)| + |bp-bp(rechls)h®5)- 

HIerbel ist 'p(rechts)' der Index des Rasterpunktes rechts vom Rasterpunkl p und 'p(oben)' der Index des 
Rasterpunktes uber dem Rasterpunkt p. 
15 Bel der Verwendung von rgb ist gmndsatzlich zu beachten, dass dies bel niedriger Helligkelt, d.h. R+G+B 

klein, unter einem minimalen Schwellenwert, z.B. nachts, keine sinnvollen Kanten mehr llefert. Dem kann z.B. 
durch Umschalten auf eine bestimmte RGB-Fomnel fur solche RGB-Werte begegnet werden. 

Sinnvoll ist die Detektlon von Farbkontrastkanten auch ohne Helligkeitskontrast. Dies wird z.B. durch die rgb- 
Temne enmoglicht. Zusatzlich ist fur nichtfarbige Fahrzeug sinnvoll, einen Heliigkeitstemn zu verwenden, z.B. 

20 

Kp.rgb.kGB = H(|rp-rp(oben)| + ISp-gptoben)! + |bp-bp(oben)| + 
|''p"''p(rechts)| + |9p-gp(rechts)| + I'^p'^pCrech.)! 
e6|Rp+Gp+Bp-[Rp^^nj+Gp(oben)+Bp(oben)I| + 
66 I Rp+Gp+Bp.[Rp(rechts)-^p(recht8)+Bp(rechls)]|-07). 

30 Optional kann bel der Kantendetektlon entweder lokal begrenzt nach lokalen Maxima der Kontrast§nderungen 

In Richtung starkster Anderung des Kontrasts gesucht werden, und/oder es kann bei der Eckendetektlon bel meh- 
reren detektierten ahnlichen Ecken auf benachbarten Rasterpunkten ein mittlerer als der Eckpunkt definiert wer- 
den. 

Die Schwellenwerte konnen von der globalen und lokalen Helllgkeit abhSngen. und unterschrelten einen vor- 
35 gegebenen Wert nie, mit dem Zlel, zu verhindern, dass zu viel Rauschen als Kante detektlert wird. Wenn die 

Gesamthelllgkeit zu klein Ist, kann, wie spater beschrleben, von der Kantendetektlon auf eIne Fahrzeug-Llchter- 
detektlon umgeschaltet wenden. Bei niedriger Gesamthelllgkeit z.B. nachts kann bei Vorhandensein einer IR-Ka- 
mera auf diese umgeschaltet werden, wobel ein Ternn der Art 

^PAH = H(|IRp-IRp(oben)| + |>Rp-'Rp(rechls)l ' ^s) 

verwendet werden kann. 

Dabel stellt Oj Jewells ein geeignetes, gegebenenfalls emplrisch und/oder adaptiv angepasstes Kon-ekturglied 

45 dar. 

Weiteres Rechenzeltelnsparpotenzlal llegt In der BeschrSnkung auf ein Grauwertbild, Oder z.B. den Kanal 
mittlerer Frequenz, d.h. des Grunkanals eines Farbbildes. 

Das extrahierte Kanten- bzw. Eckenbild wird vorzugsweise ortsaufgewelcht. 

Die Rechenzelt zum Matchen kann verringert werden, wenn bei Fahrzeugen, bei denen im Bild das hintere 
50- Ende sichtbar Ist, d.h. bel Fahrzeugen, die sich etwa von unten nach oben durch das Bild bewegen - das sind im 
Allgemeinen etwa die Halfte der Fahrzeuge - , verschledene Hecktypen nicht komplett gematcht werden, sondern 
z.B. nur die Telle, die von einem berelts gematchten abwelchen. D.h., bel PKW ware sinnvoll, zunachst einen 
PKW-Prototypen mIt Schragheck zu matchen, dann nur die Abweichungen des Matches im Heckberelch fur die 
verschledenen Hecktypen (Steilheck/Stufenheck) zu berechnen, well die ubrigen Teile des Fahrzeug-Prototypen 
55 unverSndert bleiben. Analoges gilt fur den Frontteil eines Fahrzeugs, bel dem Im Bild die Vorderkante sichtbar ist. 

Optional kann hierbel eine weltere Schattenanalyse durchgefuhrt werden, indem Prototypen mlt und ohne 
Schatten gemaB der 4-Schattenanalyse Im Kantenbild und/oder Eckenbild gematcht werden. 

Im Folgenden ist eine bevorzugte AusfQhrungsform bel RechenzeltbeschrSnkungen beschrleben. 
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Es kann ein Eckenbild, ein ortsaufgeweichtes Eckenbiid und/oder ein mit vergroberter Auflosung erstelltes 
Eckenbild verwendet warden, wobei zu dem Eckenbild optional zusatzlich Richtungsvektoren der Kanten, zum 
Matchen mit den Eckpunkten, und/oder Rfchtungsvektoren der Kanten. der Prototypen emilttelt werden. Von den 
z.B. in den ROIs detektlerten Ecken kann pro Eckentyp der beste Match als Fahrzeug-Eckenhypothese verwendet 
5 werden. Das Matchen eines Eckenblld-Fahrzeug-Prototypen ist ein null-dlmensionales Matchen: Pro Fahrzeug 

sind nur wenige Eckvektoren, optional mit Richtungsvektoren der zugehorigen Kanten, zu vergleichen mit einem 
realen ortsaufgewelchten Eckenbild, was einen geringen Rechenzeltaufwand fur den gesamten Matchvorgang 
bedlngt. Dies stellt einen deutltehen Vorteil gegenCiber den belsplelswelse aus der DE 198 31 413 A1 bekannten 
Verfahren dar. 

10 Des Weiteren wird gemaB dem Alternativ- Verfahren 4 sequentiell von einer Ecke aus die nachste gesucht. 

Die Suche erfolgt dabel in einem Bereich, in welchem die Ecke gem§(3 Wissen uber die Prototypeneckvektoren 

zu erwarten ist. Dadurch ist der Rechenaufwand welter reduzierbar, 

In einer Ausfuhrungsform wird zun&chst eine grobe Ortsauflosung verwendet und anschlieBend im Bereich 

des besten Matches einer Ecke der genaue Ort der Ecke mit felnerer Ortsauflosung emnittelt. 
15 Vor Emnittlung eines Eckenbildes kann wie oben beschrleben zuvor eine Skalierung des Bildberetehs durch- 

gefiihrt werden, so dass ein Rasterpunkl maximal etwa einem Kameraplxel entspricht, um die Rechenzeit zu ver- 

ringem. 

Ecken der Prototypen, insbesondere die vorderen und hinteren Ecken und/oder anhand realer Fahrzeugbilder 
extrahierte Ecken werden vorab einmallg fur die Prototypen nach Projektion In die ROIs gespetehert bei Annahme 

20 etwa parallel zur Fahrtahn ausgerichteter Fahrzeuge, und dann werden deren Kantenbilder zur Detektion ver- 

wendet. Belsplelswelse verlauft die hintere Kante von Klein-PKW bei einigen PKW kaum gekrummt bis etwa zum 
Hinterreifen. In derartigen Fallen ist eine Detektion einer vertikalen Kante mit kurzem nach vom gekriimmten Ende 
durchfuhrbar. Bei der Eckendetektion kann ein nlcht-helligkeitsrenomniertes BHd, z.B. das RGB-B lid,. verwendet 
werden, da Im Allgemeinen nicht bzw. maximal nur wenige mit Fahrzeug-Ecken venwechselbare Ecken in Schatten 

25 auftreten. Dies hat den Vorteil, dass auch nichtfarblge Fahrzeuge gut erkannt werden, was beim rgb-Verfahren 

weniger gut funktioniert. Im einfachsten Falle kann der Prototyp einer Ecke im 0,1m-Raster in einem z.B. 5x5 
Rasterpunkte umfassenden Gebiet erzeugt werden und davon -wie oben beschrieben- das binarlslerte Kantenbild 
mit einem Schweilenwert berechnet werden. Altemativ ist es auch denkbar, Ecken durch eine Linienendendetek- 
tton zu finden. In einer weiteren Ausfuhmngsfomi wird belsplelswelse be! einer Ecke, bei der sich ein Rad an- 

30 schliefSt, eine Eckendetektion wieder In einem 5x5 Rasterpunkte umfassenden Gebiet, Jedoch mit niedrigerer Auf- 

losung, z.B. zu jedem Quadrat vierer Rasterpunkte ein Eckpunkt, verwendet. Dadurch wird ein Tell der oft mar- 
kanten Unterkante des Fahrzeugs bei der Eckendetektion beruckslchtigt ohne nennenswerte Erhohung des Re- 
chenaufwandes. In einer anderen Ausfuhrung konnen zur Detektion bestlmmter Ecken in verschiedenen Richtun- 
gen verschiedene Auflosungen verwendet werden. Alternativ konnen z.B. auch runde Dachformen in einem sol- 
as Chen 5x5 Raster niedriger Auflosung detektlert werden. 

Mogliche Fehlerquellen konnen die Ecken von breiten Streifen auf der Fahrbahn sein, z.B. Fahrzeug-Halteli- 
nien. Diese werden vorzugsweise vorab im Bild gekennzeichnet. In einem Bereich, der einem ubiichen maximalen 
Wackein der Kamera bei Stunn entspricht, kann somlt eine Detektion der spezlellen hiemnit venwechselbaren 
Ecken von Prototypen unterbleiben. Altemativ Oder kumulativ kann die Eckendetektion auf Ecken beschranktwer- 

40 den, auf die mindestens zwei Kanten zulaufen, deren LSngen deutlteh die ubiiche Brelte von Fahrbahnstreifen 

ubersteigen. Optional kann zudem vorab eine Wackelkorrektur des Bildes durchgefuhrt werden (siehe unten Her- 
ausrechnen von Wackein'), wodurch der relevante Bereich verkleinert wird. 

Das Eckendetektionsverfahren ist sehr geelgnet fur neue Asphaltstraf3en. Fur Kopfsteinpflaster und/oder fur 
StraBen mitvielen starken Beschadigungenoder kontraststarken Bereichen kann das Verfahren adaptiert werden, 

45 z.B. indem anfangs bzw. in gewissen Zeitabstanden Ecken, die lange etwa unverandert bleiben, als Hintergrund 

erkannt werden und nur davon abweichende Ecken als Hypothesen fur Ecken ven^^endet werden. 

Welter kann dem Eckendetektionsverfahren eine Vorverarbeitung zur Hintergrundbildsubtraktion vorgeschal- 
tet werden und/oder es kann in Verbindung mit anderen Methoden (CSC etc.) eingesetzt werden. 

Die Detektion einer Ecke wird durch Matchen des Eckenprototyps. optional ortsaufgeweteht und bzgl. z.B. 

50 einer Kante richtungsaufgewelcht mit dem oben beschriebenen Kantenbild der realen Szene und unter Verwen- 

dung eines Schweilenwertes zur Detektlon/Nichtdetektion vollzogen. 

Detektierte Ecken liefern zudem Informationen uber die Abmessungen der detektlerten Telle des Fahrzeugs. 
Diese konnen gespeichert werden und optional spSter beim Matchen mit Prototypen, beim Verfolgen des Fahr- 
zeugs und bei einer Wiedererkennung verwendet werden. 

55 Eine Detektion von Fahrzeugen erfolgt vorzugsweise Im Blld von unten nach oben, d.h. zun&chst an der zur 

Kamera nachstgelegenen Fahrspur. In dieser Fahrspur gefundene Fahrzeuge konnen im Bildbereich der dariiber 
liegenden Fahrspur als bereits belegt gekennzeichnet werden. In der nachsten Fahrspur wird bei dichtem Verkehr 
in derersten Spur ein gro3erTellbeiegtsein. Die Suche nach Ecken in den h6heren Spuren ist daher vorzugsweise 
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eine Suche nach Scheibenecken oder Dachecken. 

In einer weiteren Ausfuhrungsform wird eine Hierarchie von Ecken, die der Reihe nach gesucht werden, de- 
finiert. Die Hierarchie kann beispielsweise in Abhangigkeit vom Sonnenstand gewShIt werden: Eine Ecke die ge- 
ma3 dem Sonnenstand im Schatten des Fahrzeugs liegt. weist weniger Kontrast auf und ist daher ungOnstiger 

5 als eine Ecke, die nicht im Schatten des Fahrzeugs liegt - letztere kann dann in der Hierarchie an eIner hSheren 

Stelle stehen. Des Weiteren kann be! Verwendung nlcht-helligkeitsrenonnierter Farbraume zur Hierarchie der Ek- 
ken beginnend mit der in der Hierarchie obersten vorab einmalig ermittelt werden, ob es einen Sonnenstand gibt. 
bei dem eine Schattenecke im Bereich. in dem die jeweiiige Fahrzeug-Ecke gesucht wird, mit seiben Winkeln der 
darauf zulaufenden Kanten vorkommen kann. Letzteres wird nicht Oder nur selten der Fail sein, Insbesondere bei 

10 Ecken, auf die mehr ais 2 Kanten zulaufen. Soilte es jedoch Auftreten, so ist die Hierarchie der Ecken zu andem. 

D.h., Schattenecken werden nur sehr seiten storen und bei Beachtung dieser etnmaiigen Vorabberechnungen 
praktisch nie storen bei der Fahrzeug-Eckenbestimmung. 

Wenn z.B. eine hintere untere Ecke eines im Bild z.B. von oben nach unten fahrenden Fahrzeug gefunden 
wurde und eine dazugehorige vordere untere Ecke nicht im Bereich, wo sie bei PKW zu en^varten w&re, gefunden 

15 wird, kann dies an einer Verdeckung durch ein sich davor befindendes Fahrzeug liegen. Es gibt dann die M6g- 

lichkeit, nach der in der Hierarchie nachsten Ecke z.B. nach einer Ecke einer Schelbe zu suchen. 

Weiter kann in dem relevanten Bereich nach einer speziellen Ecke gesucht werden, bei welcher eine Unter- 
kante des Fahrzeugs auf die Hinterkante des das Fahrzeug teilweise verdeckenden Fahrzeugs trifft, d.h. einer 
Ecke mit drei auf diese zulaufenden Kanten in ndherungsweise vorgegebenen Winkeln. Eine Detektlon einer sol- 

20 Chen Ecke kann dann als Hinterkante eines davor fahrenden Fahrzeugs definiert werden und zugleich iiefert dies 

eine Hypothese uber den groben Orl der verdeckten Ecke. Diese Infonnationen konnen bei der Suche nach wei- 
teren Ecken des Fahrzeugs venvendet werden. 

In bereits belegten Bereichen wird dabei nicht mehr gesucht, so dass weiter Rechenzelt eingespart werden 
kann. Wenn z.B. eine Dachhypothese gefunden ist sowie, der Bereich, in dem vordere und hintere Ecke des 

25 Fahrzeug ais belegt gekennzeichnet wurden, so wird die Dach- oder Scheibenhypothese als detektiertes Fahrzeug 

gespeichert. Somit lasst sich eine grobe Verkehrserfassung bei dichtem Verkehr und/oder ungunstigem Kamera- 
blickwinkel in den hoheren Spuren durchfuhren. Durch eine Verfolgung des Fahrzeugteiles ist zudem eine Ge- 
schwindigkeitsschStzung des Fahrzeugs mdglich. Falls spSter in dem Bereich, in dem vordere und hintere Ecke 
des Fahrzeugs envartet werden k6nnen, als nicht belegt gekennzeichnet sind, ist auch die Bestimmung einer 

30 Hypothese fur die BodenlSnge, Prototyp etc. m6glich. 

Vorzugsweise werden in einem FPGA eine moglichst hohe Anzahl relevanter Eckdatentypen detektiert, urn 
dadurch den Rechenzeitbedarf des Hauptprozessors zu verringern. 

Altemativ-Verfahren 5 

35 Ein weiteres Altemativ-Verfahren ist eine Variante einer der beschriebenen Alternativ-Verf ahren, wobei jedoch 

das Fahrzeugprototypmatchen mit einem neuronalen Netz durchgefiihrt wird. Das neuronale Netz kann beispiels- 
weise vorab einmalig trainiert werden. Beschleunigen lasst sich dieser Ansatz. wenn man das Netz parallel, z.B. 
auf FPGA, Implementiert. 

^ Verdeckungen von Fahrzeugen unterelnander 

[0172] Verdeckungen von Fahrzeugen treten um so ofter auf, je flacher der Kamerabllckwinkel ist. Durch einen Ka- 

merablickwinkel nahe genug an der Senkrechten konnen sie vollstandig vemnieden werden. 

[0173] Verdeckungen besitzen immer eine definierte Reihenfolge: Es gibt im Ailgemeinen ein nicht von anderen 

45 Fahrzeugen verdecktes Fahrzeug, dahinter konnen weitere jeweils in definlerler Reihenfolge teilverdeckte Fahrzeuge 
folgen. Vereinfacht ausgedruckt konnen Verdeckungen durch Fahrzeuge im Bild nur von unten nach oben vorkommen. 
[0174] Hinter einem FuBgangeriiberweg kann ein Fahrzeug auch teilweise von FuBgangem verdeckt werden. Spe- 
ziell im bewegungsbasierten Ansatz wird daher vorzugsweise ein Bereich mit einer Hohe von ca. 1 ,8m am zur Fahrspur 
gelegenen Rand des FuBgangeruberwegs in den kteinsten ROIs ausgespart. Wenn Fahrzeuge vor einem FuBganger- 

50 Qbenveg wieder anfahren, werden im Regelfall keine FuBgSnger auf dem Obeniveg sein, und die Fahrzeugerkennung 
kann zu dem Zeitpunkt ohne Verdeckung fortgesetzt werden. 

[0175] Es ist alternativ mdglich, dass der Bildverarbeitung ein momentaner Status einer Ampel mitgeteilt wird, und/ 
Oder dass FuBgSnger, deren Bewegungsrichtung dort ubenviegend querzur Fahrbahn ist, anhand der Geschwindig- 
keltsrichtung ais soiche (hypothesenmaBig) erkannt werden. 
55 [0176] FQr ein Auffinden von Fahrzeugclustem sind verschiedene ly^ethoden denkbar. Fahrzeughypothesenberel- 
Che, deren quer-zur-Fahrbahn-Breite einen Schwellenwertiiberschreiten, insbesondere bei zugleich schlechtem Match 
mit den vorhandenen Prototypen, konnen als Hypothesen fur eine Fahrzeugkette definiert werden. Zwei Fahrzeuge, 
die sich auf benachbarten Spuren teilweise verdecken, konnen direkt als soiche klassifiziert werden, wenn sie eine 
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groQere quer-zur-Fahrbahn-Breite als Langszur-Fahrbahn-Breite autweisen. Bei mehr als zwei Fahrspuren lassen sich 
ahnliche Klassifikationen vomehmen, insbesondere steht mithllfe des bekannten Blickwinkels der Kamera und der 
Referenzgr6Ben das Kriterium zur Verfugung, wie viele Spuren eine Fahrzeugkette uberdeckt. 
[0177] In der langs-zur-Fahrbahn-Rlchtung sind in ahnllcher Weise Fahrzeugketten klasslfizlerbar als bestimmte 

5 Anzahl Fahrzeuge, wobel die Anzahl grob aus der I3ngs-zur-f ahrbahn-Lange abgeschdtzt wird. 

[0178] Aus den nahemngsweise extrahierbaren Posltionsdaten von Vorder- und Hinterkanten eines Clusters In zwel 
Bewegungsbildern kann Geschwindigkeltsinformatlon fur den Cluster extrahiert werden. Die Geschwindigkeitslnfor- 
matlon kann getrennt fur verschledene Fahrspuren bestlmmt werden, indem die Vorder- und/oder Hinterkanten einzein 
in den Bereichen der jewelligen Fahrspur betrachtet werden. 

10 [0179] Bei Ubertappungen uber entgegengesetzte Fahrtrichtungen hinweg. die ubiich seltener sind, well die Fahr- 
zeuge hier mehrSicherheltsabstand benotigen, kann dies anhand der vonn Cluster uberdeckten Fahrspuren detektiert 
werden. 

[0180] In einem genaueren Schritt konnen zusatzlich bewegungsnchtungsabh§nglge Bilder berechnet und verwen- 
det werden, um derartige Fahrzeugketten zu trennen. 
15 [0181] Weltere komplexere Algorithmen sind mit den oben erw§hnten Alternativ-Verfahren zur Fahrzeughypothe- 

sengenerierung moglich. Durch die Verwendung von komplexeren rezeptiven Feldern, die z.B. Fahrzeugprototypen- 
Ecken- bzw. Kantenbildern entsprechen konnen, treten Im l-Werteraum auch bei nicht zu stark iiberlappenden Fahr- 
zeugen bei den einzelnen Fahrzeugen lokale Maxima auf, die detektiert werden konnen. 

[0182] Wenn nnit obigen Verfahren Fahrzeuge einer Fahrzeugkette gematcht werden, welche zwar andere Fahrzeu- 
20 ge teilweise verdecken, jedoch selbst komplett sichtbarslnd. so sind dort wIe bei einzein stehenden Fahrzeugen Farb- 
mittelwerte emnittelbar und es kann eine Wiedererkennung durchgefiihrt werden. 

[0183] Ein im Wesentlichen unverdecktes Fahrzeug einer Fahrzeugkette ist wie beschrieben praktisch immer das- 
jenige, welches am nachsten an der Kamera ist. Dies kann bei matchenden Fahrzeugen einer Kette jeweils iiberpruft 
werden, um zu entscheiden, ob es sich um ein unverdecktes Fahrzeug handett, bei dem die Wiedererkennung ohne 

25 weiteres durchgefuhrt werden kann. 

[0184] Von welteren matchenden Fahrzeugtellen einer Fahrzeugkette kann derTeil herausgeschnitten werden, der 
dem unverdeckten Fahrzeug entspricht. Weitere matchende Fahrzeugteile konnen analysiert werden unter geeigneter 
Berucksichtigung des verdeckten Bereichs. Ab einem gewissen Grad von Verdeckung ist eine Wiedererkennung von 
Fahrzeugen zu unsicher und kann dann unteriassen werden. 

30 [0185] Wenn ein zeitweise verdecktes Fahrzeug zu einem Zeltpunkt beim Verfolgen eines Clusters unverdeckt als 
Einzelfahrzeug detektiert wird, kann es auf spSteren Kreuzungen wiedererkannt werden. 

Schlechte WitterungsverhSItnisse 

35 [01 86] Ein weiteres Problem stelien schlechte Witterungsverhaltnlsse, wIe beispielsweise Wind, Platzregen, Hagel, 
starker Schneefall und/oder Nebel dar. 

Wind: Herausrechnen von Wackein 

40 [0187] Im Falle einer Anbringung einer Kamera nicht an einem Haus sondern an einem Masten, der bei Wind und 
Stumi wackelt, ist zu prufen, ob das WackeIn innerhalb der vergroBerten ROIs innerhalb x zu einer Verschiebung fuhrt, 
die im oben beschriebenen Differenzblld (Fomneln fur f und g) auf der etwa 0,1 m-Skala zu Aktivienjngen durch sta- 
tlonSre Nicht- Verkehrsobjekte fuhrt. Wenn dies nicht der Fall ist, kann ein bewegungsbaslertes Verfahren direkt ein- 
gesetzt werden. Andernfalls kann einerseits auf eine der beschriebenen nicht-bewegungsbasierten Alternativen zur 

45 Fahrzeug-Erkennung in den ROIs und Fahrzeugverfolgung zuruckgegriffen werden, andererseits kann eine On-llne- 
Kon-ektur des Wackelns durchgefuhrt werden. In einer einfachen Losungsmoglichkeit wird das Vorhandensein von 
starkem Wackein detektiert und gegebenenfalls auf einen groberen Level of Sen/ice (siehe oben z.B. mit 1-d-Fourier- 
analyse) umgeschatten. 

[0188] Bei Verwendung des oben beschriebenen bewegungsbasierten Konzepts kann folgendes detailiiertere Kon- 

50 zept verwendet werden. 

[0189] Fur ein Herausrechnen des Wackelns werden Anforderungen an die Anbringung einer Kamera an einem Mast 
gestellt. Fur eine optlmale Anbringung wird beispielsweise gefordert, dass mindestens ein Objekt Oder Teilobjekt, des- 
sen Abbild am Tage ausreichend kontrast- Oder farb-strukturiert ist, mindestens etwa (0,2m)x(0,2m), maxima! etwa 
(2m)x(2m) umfasst, nie oder mogiichst selten verdeckt ist und auch bei Stumn moglichst nur vemachlassigbaren 

55 Schwankungen ausgesetzt Ist, sich Im Blld m6glk:hst nahe an den ROIs befinden sollte. Optimal hierzu Ist mindestens 
ein Verkehrsschlid und/oder fur jede uberwachte StraBe ein Schitd an einem Mast. Der Mast sollte dabei welt hoher 
sein {uber 6m), als eine Befestigungsstelle der Schilder, Wenn man nur ein etwa entlang einer Richtung strukturiertes, 
etwa gerades Objekt verwenden wurde, wire ein zweites derartiges Objekt mit einer zur Richtung des ersten optlma- 
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lerweise etwa orthogonalen Richtung slnnvoller Weise zu verwenden. 

[0190] Der erste Naheaingsansatz zum Herausrechnen des Wackelns 1st eine lokale Translation des BUdes und/ 
Oder des Bitdes im jeweiligen ROI gemaf) dem 2-d-Translationsvelctor des Abbildes des Schildmittelpunktes und/oder 
eines anderen markanten Punktes gegenuber einem Referenzbild. 
5 [0191] Fur die Ennittlung der Hypothese an einen 2-d-Translationsvektor des Abbildes einer geeignet definlerten 
Blldregion. beispielswelse ein Schild, kann im einfachsten Falle ein geeignet binarisiertes Kantenbild dieser Bildregion 
verwendetwerden. 

[0192] Eine i\^5glichkeit fur eine Binarisierung ist, einen Scliwelienwert fQr Bitwert nuli Oder eins so zu wShlen, dass 
die Anzah! aktiver Bits im Bereich nur maximal einen bestimmten Wert abweicht von derjenigen in einem Referenzbild. 

10 Wenn die Helligkeit einen Schweilenwert unterschrertet (z.B. nachts) und sofern der Match einen Qualitatsschwellen- 
wert unterschreitet, kann auf einen entsprechend groberen Level-of-Service umgeschaltet werden. 
[0193] Bei nicht-bewegungsbaslerten Ansatzen kann ohne obige Wackeikorrektur In entfernten Gebieten, wo bei 
Stumi eventueil bis in den Im-Berelch der Fahrbaiinbereicli im Bild wackein kann, dieses Wackein im Verfahren na- 
herungsweise beriicksichtigt werden. Es kann nach der Fahrzeug-Detektion verfolgt werden, wie sich die detektierten 

15 Fahrzeuge iiber Bilder eines Zeitbereichs von etwa 1 s verschieben und dies naherungsweise korrigiert werden, indem 
die mittlere detektierte Gescliwindigkelt als Geschwindigkelt des Fahrzeug deflniert wird und die Abwelchungen inner- 
haib dieses Zeitbereichs von dieser mlttleren Geschwindigkelt als die durch Wackein induzierten Abwelchungen defl- 
niert. 

[0194] Venmeldung von Problemen durch Vogel: Das Landen und Abheben von Vdgein 9uf eIner Kamera, welches 
20 Wackein, hoheren Wartungsaufwand und eventueil Verschieben und Verdrehen der Bildachsen bewlrken kann, kann 
z.B. durch einen entsprechend spitz zulaufenden oberen Teil des KameragehSuses vermieden werden. 

Nebel und Niederschlag 

25 [0195] In den Fallen Platzregen, Hagel und starker Schneefall ist zu erwarten, dass im Bewegungsbild die Rander 
der Fahrzeuge .ausfransen' und sich vergrofSem, bis im Extremfalle alle Fahrzeuge oder die gesamte ROI als Hypo- 
these generiert werden. Ubiicherweise wurde im bewegungsbasierten Ansatz zuerst ein Zusammenlinken zweler be- 
nachbarter PICW vorkommen. Dies ergSbe eine Objekthypothese, deren LSngs- zu QuerbreitenverhSItnls und die ab- 
solute Querbrelte die erforderliche Genauigkelt beim Matchen bei keinem der Prototypen unterschrelten wird. Erfin- 

30 dungsgema(3 kann dies erkannt werden und mit geelgneten MaBnahmen behandelt werden. Wenn dies innerhalb eIner 
Minute mehr als dreimal bei verschiedenen Objekthypothesen stattfindet, wobel die Geschwindigkelt der Objekthypo- 
thesen beispielsweise einen minimalen Schweilenwert uberschrelten, um keine Verwechslung mIt einem Stau zuzu- 
iassen. konnen Parameter des Algorithmus adaptiert werden. Der einfache Fail, dass iiber die gesamte ROI im Be- 
wegungsbild 'Aktivitaf detektiert wird, kann ebenfalls erkannt werden. Als Reaktion werden beispielsweise 6 (siehe 

35 oben Gleichung zu qp) (bzw. p (siehe oben Glelchung zu f J) erhoht, bis In der jeweils nSchsten Minute das Verhfiltnis 
der Anzahl der Hypothesen in den ROIs, die keinem Prototypen zugeordnet werden konnen, unter einen Schweilenwert 
abslnkt. 

[0196] Bei detaillierterer Analyse kann das Ausfransen der Umrandungen wfihrend der Fahrzeughypothesengene- 
rienjng detektiert werden, well es Im Allgemeinen hochfrequenten Fourleranteilen in den Umrandungsfunktionen (x- 

40 y-Wertepaare fur Vorder- und Hinterkante) entspricht, die sonst nicht bzw. weit wenlger vorkommen. Wenn diese einen 
Schweilenwert uberschrelten, konnen ebenfalls die beschriebenen Parameter entsprechend varilert werden. 
[0197] Starker Nebel macht sich Im Allgemeinen durch den umgekehrten Effekt bemerkbar Die aktiven Bereiche 
schrumpfen. Hier Ist ein Ausfransen der Fahrzeughypothesenberelche nach innen ubiich. Nebel kann z.B. extra de- 
tektiert werden durch eine giobale Berechnung des Kontrastes im Bild, der bei Nebel abnimmt. Bei Nebel (tagsuber) 

45 wird vorzugsweise eine adaptive Verklelnerung der beschriebenen Parameter, entsprechend der Verringerung des 
globalen Bildkontrastes, vorgenommen. 

[0198] Eine zusatzilche Berechnung einer Erosion und Dilatation auf den Bewegungsblldem ist insbesondere bei 
schlechtem Wetter einsetzban Hiemiit konnen im Vorf eld Regentropf en, Schneeflocken sowie Rauscheffekte bei Nebel 
unterdruckt werden. 

50 [01 99] Eine weitere Mogllchkeit ist, extern die Infomnatlonen uber das Wetter (Regen, Nebel, Schnee) zu generieren, 
z.B. In Wetterstationen nahe bei den Kamerapositlonen, und diese an die Kameras zu iibemnltteln und die Parameter 
der Aigorithmen dementsprechend zu adaptieren. 

[0200] Als einfache LfisungsansStze gegen das Problem von Regentropfen auf der Kameralinse sind beispielsweise 
eine oder mehrere der folgenden Ma(3nahmen durchf uhrbar: Ein Bitckwinkel der Kamera nahe der Senkrechten ist von 
55 Vorteit, da Regen bei Kameras, die nach unten zeigen, wesentlich seltener auf die Linse trifft, als bei fiachen Blickwin- 
keln. Regentropfen auf der LInse und daraus resultlerende Probleme konnen durch etwa vierteljahriges Bespruhen 
mit einem entsprechenden Mittel, das die Tropfenbildung hemmt, oder durch neuartige Glasoberflachen mit mikro- 
strukturierten Oberf lachen gemaB dem Lotuspflanzeneffekt, optional durch eine Linse mit einer derartigen Oberfiache 
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Oder durch eine entsprechende vorgeschaltele Scheibe aus transparentem Material deutllch verringert warden. 
[0201] Bei Platzregen oder nach viel Regen konnen teilweise deutiich sichtbare Wasserfontanen auftreten. Im ein- 
facheren Fade bleiben sie innerhalb x-Zeitdifferenzen etwa unverSndert, im ungQnstigen Falle, bei einer PfOtze, k5nnen 
die FontSnen sehr unterschiedllch gro3 seln. Fur Letzteres konnen, sofem ein System mit exlrem hoher Erfolgsrate 
5 benotigt wird, Extra-Algorithmen eingesetzt werden. Charakteristisch fur FontSnen hinter Fahrzeugen sind etwa zer- 
franste Rander. Genauer gesagt ist der Abstand der L§ngsbreiten des Objektes hinter dem Fahrzeug lokai stark van- 
ierend, d.h. die Fourieranalyse des Randes zeigt dort groBe BeitrSge bei holien Frequenzen, Damit konnen diese 
detektiert werden und dann anhand des Farbblldes herausgerechnet werden, insbesondere, wenn das Fahrzeug ge- 
trackt wird und sie zu einem anderen Zeitpunkt nicht mehr vortianden sind. 

10 

Analyse von IR-Kameradaten 

[0202] Werden beispieisweise nachts ansteile von VIS-Biidem iR-Kameradaten fur eine Fahrzeugerkennung einge- 
setzt, so wird vorzugsweise beruckstehtigt, dass iR-Daten im Vergieich zu VIS-Biidem eine niedrigere Auflosung auf- 

15 welsen. 

[0203] Speziell im bewegungsbasierten Verfahren, nIcht bei den anderen Verfahren wie z.B. dem beschriebenen 
Eckendetektionsbasierten Verfahren, ist folgendes zu beachten, Es gibt bei der erstmaligen Detektion eines Fahrzeu- 
ges eine minlmaie Fahrzeuggeschwindigkeit Vg^enzi oberhalb welcher .Fahrzeuge detektiert werden k5nnen. Diese ist 
proportional zum Abstand zweler Punkte, die aufgeldst werden (siehe bben die Fonnel zur Berechnung von Vg^nzW )• 
20 Dieser Abstand zweler Punkte Ist aus dem Verhaltnis der Pixel pro ly/leter bei der ViS und bei der IR-Kamera bekannt. 
Die Geschwindigkeit Vg^nz 'St somit aufgrund der niedrigeren Auflosung bei IR hoher. 

[0204] Des Weiteren kann bei IR-Bildern Warme des Fahrzeugs, d.h. ein Bereich urn das bewegte Fahrzeug, ins- 
besondere in der Nahe der Bodenfiache des Fahrzeugs, als Bewegungsbereich detektiert werden. Dies hat ais Folge, 
dass das Matchen mit den Prototypen ubereinen groBeren Ortsvariationsbereich durchgefuhrt werden muss, was den 

25 Rechenzeltbedarf erhoht. 

[0205] IR-Daten werden daher vorzugsweise mit dem alternatlven Eckendetektlonsverfahren bzw. Kantendetektl- 
onsverfahren verarbeitet. Eine Eckendetektion ist durchfuhibar, soiange die Kanten, die zur Ecke fuhren, lang genug 
sind. Die Kanteniange In der zu anaiyslerenden Projektion soilte hlerfOr mindestens das zweifache der Auflosung 
betragen, damit die entsprechende Ecke verwendet werden kann. Wenn beispieisweise von der IR-Kamera nur Z=0,2m 

30 aufgeldst werden, sollten die zufOhrenden Kanten in der zu anaiyslerenden Projektion m6glichst 2Z =0,4m lang sein. 
[0206] Vorzugsweise wird die Hlerarchie von der Reihe nach zu suchenden Ecken fur IR-Bilder anders gewahit als 
fur VIS-Bilder. Bei IR-Biidern ist z.T. das Innere von Fahrzeugen weniger kontrastrelch. somit kann den auBeren Ecken 
eine hdhere Prioritdt zugeordnet werden. 

[0207] Aitemativ konnen fur IR-Daten auch der genannte aitemative CSC-Ansatz und venvandte Ansdtze verwendet 
35 werden. 

[0208] Falls beispieisweise Im IR-Bild Fahrzeug-Lichter und/oder Personenkdpfe aufgeldst werden. konnen diese 
wie im Hauptansatz fur VIS-Daten detektiert werden. 

[0209] Daneben ist es auch denkbar. iR-Bllder und ViS-Blider zu verknupfen. Falls ein VIS-IR verknupftes Bild vor- 
liegt, kann z.B. eine Fahrzeug-Lichterdetektion, wie im Hauptalgorithmus beschrieben, durchgefuhrt werden, und ais 
40 Startpunkt und zur Untemiauerung der Fahrzeug-Hypothese venvendet werden. 

[0210] Bzgl. Fahrzeug-Wiedererkennung fallt im Dunkein die Farbe als Merkmal aus. Es bleiben grobe Daten iiber 
Fahrzeug-Prototyp und gegebenenfalls Abmessungen, femer infomnationen uber Objektrelhenfolgen, die zu einer ein- 
geschrSnkten WIedererkennung verwendet werden konnen. 

45 Oaten fUr eine Ampelsteuerung 

[0211] Mit den erflndungsgemaBen Verfahren sind Ortsvektoren und/oder Geschwindlgkeiten von Fahrzeugen, Fahr- 
zeugclustem und/oder anderen Verkehrsobjekten mit dem Takt T ermlttelbar. Aus diesen Daten lassen sich mittels 
Interpolation der Ortsvekloren gemaB den Geschwindigkeitsvektoren Daten fur beliebige Ze'itpunkte zwischen t-T und 
50 t berechnen, und mittels Extrapolation Daten, die ein wenig In der Zukunft von t llegen. Somit konnen fOr Ampelsteue- 
Fungen mit eInem vorgebbaren Zeittakt aktuelle Oaten erzeugt werden. Dieser Zelttakt kann Insbesondere auch ktelner 
als T sein, z.B. 0,25 s. 

[0212] Die Extrapolation der Daten kann on-board Oder auch durch eine von dem Kamerarechnersystem getrennte 
Rechenelnheit durchgefuhrt werden. 
55 [0213] Fur den Fall, dass besonders aktuelle Daten gewQnscht sind und Daten auch be! sehr ungOnstigen Wltte- 
rungsbedlngungen generiert werden sollen, konnen die Daten eInes nledrigen Levels of Service (z.B. die geschatzte 
Anzahl Fahrzeuge pro Fahrspur) vom Kamerarechnersystem als erstes erzeugt werden und dann direkt und/oder mit 
Extrapolation gemaB dem gewunschten Zelttakt ubertragen werden. 
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Patentanspruche 

1 . Verfahren zur Ertcennung und Wiedererkennung von Objekten, insbesondere von Kraftfahrzeugen im StraSenver- 
kehr, mittels mindestens einem Kamerarechnersystem, welches mindestens mlteiner Kamera und einerBHdver- 

5 arbeitungs- und Auswerteeinheit ausgebildet ist, 

umfassend folgende Verfahrensschritte: 

a) Definleren mindestens einer Region of Interest (ROI), In der ein Objekt anzutreffen 1st, wobel die Region 
of Interest wesentlich klelner als der Bildbereich 1st, 
10 b) Aufnehmen von realen Bildern eines zu uberwachenden Berelches mit eInem Zeittakt x, wobel der Bildbe- 

reich der Kamera nahezu unverandert bleibt, 

c) Modifizieren der realen Bilder durch arlthmetische Verknupfungen und/oder Fllterfunktionen, 

d) Bestlmmen von Fahrzeughypothesenbereichen in den modlfizierten Blldem, 

e) Detektieren von Fahrzeugen in den Fahrzeughypothesenbereichen, 

IS f) Klassifizleren der detektieren Fahrzeuge anhand von Fahrzeugprototypen, 

g) Ennlttein mindestens eines weiteren Objekt- Attributs und 

h) Obemnltteln des klassifizierten Objektes und der Objekt-Attribute an eine Zentrale und/oder eine benach- 
barte Kamera, deren Regions of Interest mIt der erkennenden Kamera nicht iiberlappend sind und wfederholen 
der Verfahrensschritte a) - g) bei der benachbarten Kamera, wobel die Wiedererkennung in der Zentrale Oder 

20 dem Rechner der benachbarten Kamera stattflndet. 

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass aus aufeinanderfolgenden realen Bildern Differenz- 
bilder erzeugt werden, wobel fOr die aktlven Bereiche in einer Region of Interest die Fahrzeughypothesenbereiche 
ermittelt werden. 

25 

3. Verfahren nach Anspruch 2, dadurch gekennzelchnet, dass zwei Bewegungsbilder aus den realen Bildern zu 
den Zeitpunkten t und t-x gebildet werden, wobel das erste Bewegungsbiid 

„ qp = H(|rp-rp(t-,)| + |gp-gp(t-,)| + |bp-bp(t-T)|-e) 

fur jeden durch eine AbsolutgroBe definierten Rasterpunkt p berechnet wird, mit einem Korrekturglied 0, fur das 
zweite Bewegungsbiid die Region of Interest in einem definierten groberen Raster in aneinandergrenzende Be- 
reiche m unterteilt, fur jeden Bereich m einer jeden Region of Interest eine Funktion f,„ berechnet wird 



und hieraus eine Funktion 

9m = (^m" [(Anzahi der qp- Werte im Bereich m) • p] ) mit 0 < p < 1 

gebildet wird. 

50 4. Verfahren nach Anspruch 3, dadurch gekennzelchnet, dass aus dem zwelten Bewegungsbiid g„ durch Clustem, 
Plausibilitatschecks der Ergebnlsse und gegebenenfalls weiteren Clusterungen Bereiche mit gn, > 0 zusammen- 
gefasst werden und eine grobe Gr63enabsch5tzung der detektierten bewegten Objekte erfolgt. 

5. Verfahren nach Anspruch 4. dadurch gekennzelchnet, dass mittels der Fahrzeughypothese gemd3 Verfahrens- 
55 anspruch 4) und dem ersten Bewegungsbiid gemaB Verfahrensanspruch 3) eine Fahrzeugumrandung ennittelt 

wird. 

6. Verfahren nach Anspruch 1 oder 2, dadurch gekennzelchnet, dass zur Bestimmung von Fahrzeughypothesen- 
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bereichen eine auf Fahrzeuge abgestimmte Scale-Space-Synchronisation und/oder eine Eckendetelction verwen- 
det wird. 

7. Verfahren nachi Anspmch 6, dadurch gekennzelchnet, dass ein Bewegungsbild gebiidet wird, in dem alctive 
5 Bewegungslcanten bestimmt warden, wobei entsprechend gefonmte Polygene unter Einschluss der aktlven Bewe- 

gungskanten die unterste Ebene des Scale-Space bilden, deren lokale Maxima bestimmt werden, wobel die 
naclisthohere Ebene des Scale-Space eine PKW-Ebene darstellt, wo die rezeptiven Felder Fahrzeugvorder- und 
Fahrzeughinterkantenhypothesen fOr PKWs zusammenfassen. 

10 8. Verfahren nachAnspruch 7, dadurch gekennzelchnet, dass matchende Felder unter Verwendungeiner ein- Oder 
mehrdimensionalen, raumlich beschrankten, quadratischen Interpolation zur Optimierung des Fetdes bestimmt 
werden. 

9. Verfahren nach einem der vorangegangenen Anspruche, dadurch gekennzelchnet, dass die Geschwindlgkeit 
15 der Fahrzeughypothese ermlttelt wIrd. 

10. Verfahren nach Anspruch 9, dadurch gekennzelchnet, dass aus den realen Bildem zum Zeitpunkt t, t-r und t- 
2x Bewegungsbltder emnlttett werden, die mitelnander verglichen werden. 

20 11. Verfahren nach Anspruch 9 Oder 10, dadurch gekennzelchnet, dass zum Verfolgen von detektierten Objekten 
eine Extrapolation eines geelgneten Ecken- oder Kantenbildes des detektierten Objekts venvendet wird. 

12. Verfahren nach eInem der vorangegangenen Anspruche, dadurch gekennzelchnet, dass die GrofBe der einzel- 
nen Regions of Interest In Abhangigkeit des Zeittaktes t der realen Bildaufnahmen, eines Verarbeitungszeittaktes 

25 T, der auf der betreffenden StraSe geltenden Geschwindigkeitsbegrenzung, und einer minimalen Linge zu erken- 
nender Objekte derart gewShit wird, dass eIn Objekt nicht innerhalb des Zeittaktes T die Region of Interest durch- 
queren kann. 

1 3. Verfahren nach einem der vorangegangenen AnsprQche, dadurch gekennzelchnet, dass die Regions of interest 
30 ats geschlossene PolygonzOge mit mindestens vier Punkten ausgebildet sind. 

14. Verfahren nach Anspruch 13, dadurch gekennzelchnet, dass ortsfeste, die Region of interest teilweise verdek- 
kende Objekte durch den Polygonzug ausgespart werden. 

35 15. Verfahren nach einem der vorangegangenen Anspruche, dadurch gekennzelchnet, dass die Regions of Interest 
Im Ausfahrtsbereteh einer Kreuzung angeordnet sind. 

16. Verfahren nach einem der Anspruche 1 bis 15, dadurch gekennzelchnet, dass die Regions of Interest Im EIn- 
fahrtsbereich der Kreuzung angeordnet sind und die detektierten Objekte bis zur Ausfahrt weiterverfolgt werden. 

40 

17. Verfahren nach einem der vorangegangenen AnsprQche, dadurch gekennzelchnet, dass Farbdaten des Objek- 
tes als Objekt-Attribut erfasst werden. 

18. Verfahren nach Anspruch 17. dadurch gekennzelchnet, dass die Farbdaten bei Fahrzeugen im Wesentlichen 
<5 aus renormierten Farben der unteren HSIfte der Seltenflachen des Objektes bestimmt werden, wobei die Rander 

des Objektes weitgehend unberuckslchtigt bleiben. 

19. Verfahren nach einem der vorangegangenen Anspruche, dadurch gekennzelchnet, dass die Heckfonm, die 
Dachausbildung und/oder eine Objektabfolge als Objekt-Attribut erfasst werden. 

50 

20. Verfahren nach einem der vorangegangenen Anspruche, dadurch gekennzelchnet, dass eine Schatten- und/ 
Oder Beleuchtungsanatyse durchgefuhrt wird. 

21. Verfahren nach einem der vorangegangenen Anspruche, dadurch gekennzelchnet, dass die Auswerteeinhelt 
55 Daten Gber die WItterungsverhSltnisse ennittelt und die Parameter bzw. zu verwendenden Algorithmen automa- 

tisch den erfassten Witterungsbedingungen anpasst. 

22. Verfahren nach einem der vorangegangenen AnsprQche, dadurch gekennzelchnet, dass die Auswerteeinhelt 
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mindestens einen Parameter des Verfahrens selbsttatig anpasst. 

23. Verfahren nach Anspruch 22, dadurch gekennzelchnet, dass die Gr6Be von Regions of Interest In Abhanglgkelt 
der Helllgkeit gewghit wird. 

5 

24. Verfahren nach einem der vorangegangenen Anspruche, dadurch gekennzelchnet, dass ein Wackein der Ka- 
mera detektiert wird und das Wackein anhand mindestens eines gespeicherten Referenzblldes herausgerechnet 
wIrd. 

10 25. Verfahren nach einem der vorangegangenen Anspruche, dadurch gekennzelchnet, dass eine Hierarchie von 
Regions of Interest (ROI) verschiedener festgelegter GroBe bestimmt wird. 

26. Vorrichtung zur DurchfQhrung des Verfahrens nach Anspruch 1 , dadurch gekennzelchnet, dass die Vorrichtung 
mindestens eine Kamera und eine Bildverarbeitungselnheit umfasst, wobel mittels einer Kamera perlodisch ein 

15 fester Blldbereich auf nehmbar ist , in dem Bildbereich mindestens eine Region of Interest def Inlert ist, die wesentllch 

kleiner als der Bildbereich ist, in der Bildverarbeitungselnheit modifizierte Bilder der real aufgenommenen Bilder 
durch arithmetische Verknupfungen und/oder Filterf unktionen erzeugbar sind, aus den modlfizierten Bildern Fahr- 
zeughypothesenberelche bestimmbar sind, aus denen Verkehrsobjekte detektlerbar sind, die detektierten Ver- 
kehrsobjekte anhand von Prototypen klassifizierbar sind und mindestens ein weiteres Objekt-Attrlbut emnlttelbar 

20 ist, wobei die Daten eines klassifizierten Objektes und der Objekt-Attribute an eine Zentrale und/oder benachbarte 

Kamera ubertragbar sind. 

27. Vorrichtung nach Anspruch 26, dadurch gekennzelchnet, dass die Kamera in einem Gehause aufnehmbar ist, 
welches mit einem spitz zulaufenden Dach ausgebiidet Ist. 

25 
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